JDBC处理大数据、大文本、二进制数据、批处理相关知识

JDBC处理大数据、大文本、二进制数据、批处理相关知识

在实际开发中，程序需要把大文本或二进制数据保存到数据库。

基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob

clob用于存储大文本。Text

blob用于存储二进制数据，例如图像、声音、二进制文等。

对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为：

TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT

TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB 

使用JDBC处理大文本

对于MySQL中的Text类型，可调用如下方法设置：

PreparedStatement.setCharacterStream(index, reader, length);

//注意length长度须设置，并且设置为int型

对MySQL中的Text类型，可调用如下方法获取：

reader = resultSet. getCharacterStream(i);

reader = resultSet.getClob(i).getCharacterStream();

string s = resultSet.getString(i);

使用JDBC处理二进制数据

对于MySQL中的BLOB类型，可调用如下方法设置：

PreparedStatement. setBinaryStream(i, inputStream, length);

对MySQL中的BLOB类型，可调用如下方法获取：

InputStream in  = resultSet.getBinaryStream(i);

InputStream in  = resultSet.getBlob(i).getBinaryStream(); 

使用JDBC进行批处理

业务场景：当需要向数据库发送一批SQL语句执行时，应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。

实现批处理有两种方式，第一种方式：

Statement.addBatch(sql)  list

执行批处理SQL语句

executeBatch()方法：执行批处理命令

clearBatch()方法：清除批处理命令

Connection conn = null;

Statement st = null;

ResultSet rs = null;

try {

conn = JdbcUtil.getConnection();

String sql1 = "insert into user(name,password,email,birthday) 

values('kkk','123','abc@sina.com','1978-08-08')";

String sql2 = "update user set password='123456' where id=3";

st = conn.createStatement();

st.addBatch(sql1);  //把SQL语句加入到批命令中

st.addBatch(sql2);  //把SQL语句加入到批命令中

st.executeBatch();

} finally{

JdbcUtil.free(conn, st, rs);

}

采用Statement.addBatch(sql)方式实现批处理：

优点：可以向数据库发送多条不同的ＳＱＬ语句。

缺点：

SQL语句没有预编译。

当向数据库发送多条语句相同，但仅参数不同的SQL语句时，需重复写上很多条SQL语句。例如：

Insert into user(name,password) values(‘aa’,’111’);

Insert into user(name,password) values(‘bb’,’222’);

Insert into user(name,password) values(‘cc’,’333’);

Insert into user(name,password) values(‘dd’,’444’);

实现批处理的第二种方式：

PreparedStatement.addBatch()

conn = JdbcUtil.getConnection();

String sql = "insert into user(name,password,email,birthday) values(?,?,?,?)";

st = conn.prepareStatement(sql);

for(int i=0;i<50000;i++){

st.setString(1, "aaa" + i);

st.setString(2, "123" + i);

st.setString(3, "aaa" + i + "@sina.com");

st.setDate(4,new Date(1980, 10, 10));

st.addBatch();

if(i%1000==0){

st.executeBatch();

st.clearBatch();

}

}

st.executeBatch();

采用PreparedStatement.addBatch()实现批处理

优点：发送的是预编译后的SQL语句，执行效率高。

缺点：只能应用在SQL语句相同，但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据，或批量更新表的数据。

批处理实例：

package com.hbsi.jdbcdemo;

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileReader;

import java.sql.Connection;

import java.sql.PreparedStatement;

import com.hbsi.dbUtil.DBManager;

public class JdbcDemo5 {

public void insert() {

Connection con = null;

PreparedStatement st = null;

con = DBManager.getConnection();

String sql = "insert into person(id,name,heading,intro) values(?,?,?,?)";

try {

st = con.prepareStatement(sql);

String[] name = { "aaa", "bbb", "ccc" };

String[] img = { "src/11.png", "src/22.png", "src/audio.png" };

String[] text = { "src/com/hbsi/jdbcdemo/JdbcDemo4.java",

"src/com/hbsi/jdbcdemo/JdbcDemo3.java",

"src/com/hbsi/jdbcdemo/JdbcDemo2.java" };

for (int i = 1; i <= 3; i++) {

st.setInt(1, i);

st.setString(2, name[i - 1]);

File f = new File(img[i - 1]);

FileInputStream fis = new FileInputStream(f);

st.setBinaryStream(3, fis, f.length());

File g = new File(text[i - 1]);

BufferedReader br = new BufferedReader(new FileReader(g));

st.setCharacterStream(4, br, g.length());

st.addBatch();

}

int[] x = st.executeBatch();

if (x.length == 3) {

System.out.print("插入成功！！！");

}

} catch (Exception e) {

e.printStackTrace();

} finally {

DBManager.closeDB(con, st, null);

}

}

public static void main(String[] args) {

JdbcDemo5 df = new JdbcDemo5();

df.insert();

}

}