处理大数据
使用JDBC处理大数据:
基本概念:大数据也称之为LOB(Large Objects),LOB又分为:clob和blob——clob用于存储大文本。Text
blob用于存储二进制数据,例如图像、声音、二进制文等。
对MySQL而言只有blob,而没有clob,mysql存储大文本采用的是Text,Text和blob分别又分为:
(1)TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT
(2)TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB
使用JDBC处理大文本:
对于MySQL中的Text类型,可调用如下方法设置: PreparedStatement.setCharacterStream(index,reader,length);
//注意length长度须设置,并且设置为int型。
对MySQL中的Text类型,可调用如下方法获取:
reader = resultSet. getCharacterStream(i);
reader = resultSet.getClob(i).getCharacterStream();
string s = resultSet.getString(i);
使用JDBC处理二进制数据:
对于MySQL中的BLOB类型,可调用如下方法设置:
PreparedStatement. setBinaryStream(i, inputStream, length);
对MySQL中的BLOB类型,可调用如下方法获取:
InputStream in = resultSet.getBinaryStream(i);
InputStream in = resultSet.getBlob(i).getBinaryStream();
在Oracle中大数据处理:
Oracle定义了一个BLOB字段用于保存二进制数据,但这个字段并不能存放真正的二进制数据,只能向这个字段存一个指针,然后把数据放到指针所指向的Oracle的LOB段中, LOB段是在数据库内部表的一部分。
因而在操作Oracle的Blob之前,必须获得指针(定位器)才能进行Blob数据的读取和写入。
如何获得表中的Blob指针呢? 可以先使用insert语句向表中插入一个空的blob(调用oracle的函数empty_blob() ),这将创建一个blob的指针,然后把这个empty的blob的指针查询出来,这样就可得到BLOB对象,从而读写blob数据。
Oracle中LOB类型的处理:
插入空blob
insert into test(id,image) values(?,empty_blob());
获得blob的cursor
select image from test where id= ? for update;
Blob b = rs.getBlob(“image”);
注意: 须加for update,锁定该行,直至该行被修改完毕,保证不产生并发冲突。 利用 io,和获取到的cursor往数据库读写数据
注意:以上操作需开启事务。