JDBC(2):事务，批次处理文件，处理大文件

最新推荐文章于 2021-10-01 18:45:55 发布

Stay_up_Victory

最新推荐文章于 2021-10-01 18:45:55 发布

阅读量344

点赞数

分类专栏： DataBase

本文链接：https://blog.csdn.net/Stay_up/article/details/73134444

版权

DataBase 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

JDBC(2)
1.JDBC工具类，在上次我们使用的工具类中，我们只能使用mysql的数据库获取连接，如果要做修改则会很麻烦，这就是我们将代码写的“太死了“，我们可以通过properties集合的方式，将代码写入文件中，最后将文件中内容读取出来，这样在以后的修改中，只需要修改文件内容就好了

package com.jdbc.util;

import java.io.FileInputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;

public class JDBCUtil {
    private static String url = null;
    private static String user = null;
    private static String password = null;
    private static String className = null;

    static{
        //随着类的加载而夹在
        try {
            //使用properties这个类，将配置文件中的键值对加载到集合中
            Properties prop = new Properties();
            prop.load(new FileInputStream("db.properties"));
            url = prop.getProperty("url");
            user = prop.getProperty("user");
            password = prop.getProperty("password");
            className = prop.getProperty("className");
            Class.forName(className);
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    //获取连接
    public static Connection getConn(){
        //注册驱动
        try {
            Connection conn = DriverManager.getConnection(url, user, password);
            return conn;        
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
            throw new RuntimeException();
        }

    }


    //释放资源
    public static void close(Connection conn,Statement stmt,ResultSet rs){
        if (conn!=null) {
            try {
                conn.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }

        if (stmt!=null) {
            try {
                stmt.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }

        if (rs!=null) {
            try {
                rs.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    }

}

最后在我们的文件中，添加进去相关的数据库连接

url=jdbc:mysql://localhost:3306/day20
user=root
password=root
className=com.mysql.jdbc.Driver

2.使用JDBC进行批处理
　　（１）在我们之前，我们一次操作只能发送一句ｓｑｌ语句，如果我们要插入２０００条数据的话，用ＩＯ流的话，效率也不是很高，我们可以利用ｓｑｌ缓冲区，一次发送多条语句到数据库服务端来执行，这个就称之为批处理
Statement : addBatch(String sql) 添加到sql缓冲区，暂时不发送，
　　int exxcuteBatch() 发送批次处理命令，发送所有的缓冲区内容，
　　void clearBatch() 清空所有的缓冲区内容
PreparedStatement() : void addBatch() 添加到sql缓冲区
int[] executeBatch() 执行缓冲区的所有sql语句
void clearBatch() 清空缓冲区

package com.jdbc.a_statement_preparedstatement;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.Statement;
import com.jdbc.util.JDBCUtil;


public class Test {
    public static void main(String[] args) {
        long startTime = System.currentTimeMillis();
        //testStatement();//不使用批处理的情况下，给学生表中插入2000条数据,6230
        //testStatementBatch();//使用批处理的情况下，给学生表中插入2000条数据,6170
        //testPreparedStatement();//6240
        testPreparedStatementBatch();//6210
        long endTime = System.currentTimeMillis();
        System.out.println(endTime-startTime);
    }

    private static void testPreparedStatementBatch() {

        Connection conn = null;
        PreparedStatement stmt = null;
        try{
            conn  = JDBCUtil.getConn();
            //创建一个动态的sql语句
            String sql  = "insert into stu values(?,?);";
            stmt = conn.prepareStatement(sql);
            //型数据库插入2000条数据，一次插入一条
            for (int i = 1; i <=2000; i++) {
                stmt.setInt(1, i);
                stmt.setString(2, "刘德华");
                stmt.addBatch();
                //判断每20条发送一次
                if (i%20==0) {
                    stmt.executeBatch();
                    //清空缓存区
                    stmt.clearBatch();
                }

            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }



    }

    private static void testPreparedStatement() {
        Connection conn = null;
        PreparedStatement stmt = null;
        try{
            conn  = JDBCUtil.getConn();
            //创建一个动态的sql语句
            String sql  = "insert into stu values(?,?);";
            stmt = conn.prepareStatement(sql);
            //型数据库插入2000条数据，一次插入一条
            for (int i = 1; i <=2000; i++) {
                stmt.setInt(1, i);
                stmt.setString(2, "刘德华");
                //发送参数
                stmt.executeUpdate();
            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }

    }

    private static void testStatementBatch() {

        Connection conn  =null;
        Statement stmt = null;
        try{
            //获取连接
            conn = JDBCUtil.getConn();
            //获取statement对象
            stmt = conn.createStatement();
            //每次给stmt这个命令行中添加20条sql语句，一次性进行发送
            for (int i = 1; i <=2000; i++) {
                String sql  = "insert into stu values("+i+",'刘德华');";
                //将这个sql先暂时添加在stmt的命令行中
                stmt.addBatch(sql);
                if (i%20==0) {
                    //批量发送sql
                    stmt.executeBatch();
                    //清空stmt的命令行列表
                    stmt.clearBatch();
                }
            }


        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }
    }

    private static void testStatement() {
        Connection conn  =null;
        Statement stmt = null;
        try{
            //获取连接
            conn = JDBCUtil.getConn();
            //获取statement对象
            stmt = conn.createStatement();
            //给数据库发送2000次sql语句，插入数据

            for (int i = 1; i <=2000; i++) {
                String sql  = "insert into stu values("+i+",'刘德华');";
                //给数据库发送sql
                stmt.executeUpdate(sql);
            }


        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }


    }

}

JDBC获取自增长值
比如有俩张表，一张员工表，一张是部门表，在部门表中出入一个新的部门后，要在员工表中也插入一个新的员工，要求同时实现，这就要用到自增长指

package com.jdbc.c_autoincrement;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.Statement;

import com.jdbc.util.JDBCUtil;

public class IncrementDemo {
    public static void main(String[] args) {
        //需求：在给部门表插入一条数据的同时，再给员工表中刚刚插入的该部门插入一条员工数据
        /**
         * 1.给部门表中插入一个新的部门“财务部”
         * 2.获取财务部对应的id
         * 3.给员工表中插入一条员工数据，对应的部门就是财务部对应的id
         */
        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            conn  =JDBCUtil.getConn();
            String sql1 = "insert into dept(deptName) values(?)";
            String sql2 = "insert into employee(name,deptId) values(?,?);";
            //先给部门表中插入一条数据
            //PreparedStatement prepareStatement(String sql,int autoGeneratedKeys)
            stmt  = conn.prepareStatement(sql1, Statement.RETURN_GENERATED_KEYS);
            stmt.setString(1, "财务部");
            stmt.executeUpdate();
            //获取自增长的键值
            //ResultSet getGeneratedKeys()
            rs = stmt.getGeneratedKeys();//rs就是一个自增站的键的一个结果集
            int deptId = 0;
            while (rs.next()) {
                deptId = rs.getInt(1);
            }
            //给员工表中插入一条数据
            stmt = conn.prepareStatement(sql2);
            stmt.setString(1, "岳云鹏");
            stmt.setInt(2, deptId);
            //发送参数并执行sql
            stmt.executeUpdate();
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
        }

    }

}

4，使用JDBC处理大文件
（1）字符：
存储字符内容： mysql： char(0-255) varchar(0-65535) 长度有限的。 65535
大容量的字符字段：
mysql： text（64K） longtext(4G字符内容)
oracle : clob longclob
字节：
mysql： blob（65kb） mediumblob（16mb） longblog（4GB）
oracle: blob
（2）使用JDBC操作字符文件

package com.jdbc.b_clob_bob;

import java.io.FileReader;
import java.io.FileWriter;
import java.io.Reader;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

import com.jdbc.util.JDBCUtil;

public class ClobDemo {
    public static void main(String[] args) {
        //需求：将一篇文章存储到数据库中
        //write();
        read();
    }

    private static void read() {

        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            //获取连接
            conn  = JDBCUtil.getConn();
            String sql = "select * from news";
            stmt = conn.prepareStatement(sql);
            //执行sql 
            rs = stmt.executeQuery();
            //便利结果集
            while (rs.next()) {
                //获取content字段的数据
                Reader reader = rs.getCharacterStream(2);
                //创建文件输出流对象
                FileWriter fw = new FileWriter("D://url2.txt");
                //边度边写
                char[] chs = new char[1024];
                int len;
                while ((len=reader.read(chs))!=-1) {
                    fw.write(chs, 0, len);
                    //刷新
                    fw.flush();
                }

                //关流
                fw.close();
                reader.close();

            }

        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }



    }

    private static void write() {
        Connection conn = null;
        PreparedStatement stmt = null;

        try{
            conn  = JDBCUtil.getConn();
            String sql = "insert into news values(?,?);";
            stmt = conn.prepareStatement(sql);
            //设之参数
            stmt.setString(1, "郭德纲即将来西安开20周年的巡演");
            stmt.setClob(2, new FileReader("D://url.txt"));
            //发送参数，并执行sql 
            int count = stmt.executeUpdate();
            System.out.println(count);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }

    }

}

（3）使用JDBC操作字节文件

package com.jdbc.b_clob_bob;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

import com.jdbc.util.JDBCUtil;

public class BlobDemo {
    public static void main(String[] args) {
        write();//给数据库中存出一张图片
        //read();
    }

    private static void read() {
        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            conn  = JDBCUtil.getConn();
            String sql = "select * from attachment where id=?;";
            stmt = conn.prepareStatement(sql);
            //给参数赋值
            stmt.setInt(1, 1);
            rs = stmt.executeQuery();
            //遍历结果集
            while (rs.next()) {
                //读取第2个字段
                InputStream is = rs.getBinaryStream(2);
                FileOutputStream fos = new FileOutputStream("D://nm.jpg");
                byte[] chs = new byte[1024];
                int len;
                while ((len=is.read(chs))!=-1) {
                    fos.write(chs, 0, len);
                }
                //释放资源
                fos.close();
                is.close();
            }

        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, rs);
        }

    }

    private static void write() {
        Connection conn = null;
        PreparedStatement stmt = null;
        try{
            conn = JDBCUtil.getConn();
            String sql = "insert into attachment values(?,?);";
            //预编译sql
            stmt = conn.prepareStatement(sql);
            //给sql参数赋值
            stmt.setInt(1, 2);
            //数据库默认要求，写入文件的大小是1m，如果存入数据库的文件大于这个容量就会抛出异常
            //com.mysql.jdbc.PacketTooBigException
            //max_allowed_packet
            stmt.setBlob(2, new FileInputStream("D://abc.mp3"));
            //发送参数并执行sql
            int count = stmt.executeUpdate();
            System.out.println(count);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }
    }

}

注意： mysql数据库默认情况下，只能存储不超过1m的文件，由于max_allowed_packet变量的限制，可以修改： %mysql%/my.ini文件, 修改或添加max_allowed_packet变量，然后重启mysql
5.数据库的事务，
事务：多个sql语句之间存在某种关系，他们一起成功或者一起失败，这个就成为事务
（1）利用mysql执行事物的命令
set autocommit =0 / 1; 设置是否自动提交事务
1：表示自动提交事务，每执行一条sql语句，自动提交事务。
0：表示关闭自动提交事务。
commit; 提交事务，一旦提交事务不能回滚
rollback; 回滚事务。回滚到事务的起始点。
（2）使用JDBC操作事务的方法

Connection.setAutoCommit(false)  开启事务
Connection.commit();  成功执行，最后提交事务
Connection.rollback();  一旦遇到错误，回滚事务

事务的类型：转账问题

package com.jdbc.d_transation;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

import com.jdbc.util.JDBCUtil;

public class TransationDemo {
    public static void main(String[] args) {
        Connection conn  =null;
        PreparedStatement stmt = null;
        //扣除james账户余额2000元
        String delSql = "update account set balance=balance-2000 where name='james';";
        String addSql = "update account set balance=balance+2000 where name='weide';";

        try{
            conn = JDBCUtil.getConn();
            //开启事务
            conn.setAutoCommit(false);//将自动提交设置为手动提交

            stmt = conn.prepareStatement(delSql);
            //执行sql语句
            stmt.executeUpdate();

            //int i = 1/0;//假设在这里抛出了一个异常

            //下面给韦德账户增加钱的操作还会执行吗？
            stmt  =conn.prepareStatement(addSql);
            stmt.executeUpdate();
            //手动提交
            conn.commit();
            System.out.println("转账成功"); 
        }catch(Exception e){
            e.printStackTrace();
            //回滚
            try {
                conn.rollback();
            } catch (SQLException e1) {
                // TODO Auto-generated catch block
                e1.printStackTrace();
            }
        }finally{
            //释放资源
            JDBCUtil.close(conn, stmt, null);
        }


    }

}

注意：当我们的程序如果运行到一半，即刚好将James账户上的钱扣除后，如果发生异常，系统自动提交执行第二条语句，那么程序的结果就会出错，所以我们需要将系统的自动提交设置为手动提交，一旦程序出错，我们可以将程序回滚到程序先开始执行的地方，如果程序执行正确，我们可以手动提交，这就保证了程序的安全性

事务的特点（重点掌握）
原子性：要么一起成功过，要么一起失败
一致性：数据库应该从一个一致性的状态到另一个一致性的状态，保持不变
隔离性：多个并发事务直接应该可以相互隔离
持久性：事务一旦提交，应该永久保持下来。

Stay_up_Victory

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
JDBC(2):事务，批次处理文件，处理大文件

JDBC(2) 1.JDBC工具类，在上次我们使用的工具类中，我们只能使用mysql的数据库获取连接，如果要做修改则会很麻烦，这就是我们将代码写的“太死了“，我们可以通过properties集合的方式，将代码写入文件中，最后将文件中内容读取出来，这样在以后的修改中，只需要修改文件内容就好了package com.jdbc.util;import java.io.FileInputStream;i
复制链接

扫一扫

专栏目录