JDBC（二）--批处理/JDBC获取自增长值/处理大数据文件/事务

最新推荐文章于 2023-05-19 15:53:43 发布
最新推荐文章于 2023-05-19 15:53:43 发布
阅读量690 收藏
点赞数
分类专栏： JavaSE 数据库 文章标签： 数据库 批处理 jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangruxi/article/details/73252026
版权

JDBC进行批处理

1.使用批处理的原因：
之前一次操作只能发送一条sql语句到数据库服务器，效率并不高。假如我们要发送2000条数据，那么必须发送2000条数据。
所以现在可以使用sql缓存区，一次发送多条sql到数据库服务器执行，这种操作就叫做批处理。

2.JDBC批处理的API：
（1）Statement批处理：

void addBatch(String sql)  //添加sql到缓存区（暂时不发送）
int[] executeBatch() //执行批处理命令。 发送所有缓存区的sql
void clearBatch()  //清空sql缓存区

利用Statement进行批处理：

private static void testStatementBatch() {
        Connection conn = null;
        Statement stmt = null;
        try{
            conn = JDBCUtil.getConn();
            stmt = conn.createStatement();
            //每次给命令行中添加20条语句，一次性发送
            for (int i = 1; i <= 2000; i++) {
                String sql = "INSERT INTO student VALUES("+i+",'张三');";
                //把sql语句暂时添加到stmt命令行中
                stmt.addBatch(sql);
                if (i%20==0) {
                    //批量发送sql
                    stmt.executeBatch();
                    //清空stmt的命令行
                    stmt.clearBatch();
                }
            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JDBCUtil.close(conn,stmt,null);
        }

    }

（2）PreparedStatement：

void addBatch() //添加参数到缓存区
int[] executeBatch() //执行批处理命令。 发送所有缓存区的sql
void clearBatch()  //清空sql缓存区

利用Statement进行批处理：

private static void testPreparedStatementBatch() {
        Connection conn = null;
        PreparedStatement stmt =null;
        try{
            conn = JDBCUtil.getConn();
            //创建一个动态sql语句
            String sql = "INSERT INTO student VALUES(?,?);";
            stmt = conn.prepareStatement(sql);
            for (int i = 1; i <= 2000; i++) {
                stmt.setInt(1,i);
                stmt.setString(2,"张三");
                stmt.addBatch();
                //判断，每20条批量发送一次
                if (i%20==0) {
                    stmt.executeBatch();
                    stmt.clearBatch();
                }
            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JDBCUtil.close(conn,stmt,null);
        }

    }

JDBC获取自增长值

public class Demo {
    @Test
    public void test(){
        //插入部门表数据
        String deptSql = "INSERT INTO dept(deptName) VALUES(?)";
        //插入员工表数据
        String empSql = "INSERT INTO employee(empName,deptId) VALUES(?,?)";
        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            //获取连接
            conn = JdbcUtil.getConnection();

            /**
             * 1）插入部门
             */
            //预编译部门sql
            //stmt = conn.prepareStatement(deptSql);
            //
            /**
             * 1.1 使用两个参数的prepareStatement（）方法，指定可以返回自动增长的键值
             * Statement.RETURN_GENERATED_KEYS: 可以返回自动增长值
             * Statement.NO_GENERATED_KEYS: 不能返回自动增长值
             */
            stmt = conn.prepareStatement(deptSql, Statement.RETURN_GENERATED_KEYS);
            //设置参数
            stmt.setString(1, "秘书部");
            //执行部门sql
            stmt.executeUpdate();
            /**
             * 1.2 获取自增长的值
             */
            rs = stmt.getGeneratedKeys();
            Integer deptId = null;
            if(rs.next()){
                deptId = rs.getInt(1);//得到第一行第一列的值
            }


            /**
             * 2)插入员工，员工在刚添加的部门中
             */
            stmt = conn.prepareStatement(empSql);
            //设置参数
            stmt.setString(1, "李四");
            stmt.setInt(2, deptId);  //如何获取刚刚添加的部门ID？？
            //执行员工sql
            stmt.executeUpdate();

        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JdbcUtil.close(conn, stmt, rs);
        }
    }
}

JDBC处理大数据文件

1.大容量：
（1）字符：
存储字符内容：MySQL：char（0-255），varchar（0-65535）长度有限。
大容量的字符字段：
*MySQL：text（64k） longtext（4G字符内容）
*Oracle：clob longclob
（2）字节：
*MySQL：blob（65KB） mediumbolb（16MB） longblob（4GB）
*Oracle：blob
2.JDBC操作字符文件：

public class Demo {

    /**
     * 文件保存到数据中
     */
    @Test
    public void testWrite(){
        Connection conn = null;
        PreparedStatement stmt = null;
        try{
            //获取连接
            conn = JdbcUtil.getConnection();
            //创建PreparedStatement
            String sql = "INSERT INTO test1(content) VALUES(?)";
            stmt =conn.prepareStatement(sql);
            //设置参数
            /**
             * 参数一： 参数位置
             * 参数二： 输入字符流
             */
            /**
             * 读取本地文件，返回输入字符流
             */
            FileReader reader = new FileReader(new File("e:/Demo1.java"));
            stmt.setClob(1, reader);
            //执行sql
            int count = stmt.executeUpdate();
            System.out.println("影响了"+count+"行");
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JdbcUtil.close(conn, stmt, null);
        }
    }

    /**
     * 从数据中读取文本内容
     */
    @Test
    public void testRead(){
        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            //获取连接
            conn = JdbcUtil.getConnection();
            String sql = "SELECT * FROM test1 where id=?";
            stmt = conn.prepareStatement(sql);
            //设置参数
            stmt.setInt(1, 2);
            //执行sql,返回结果集
            rs = stmt.executeQuery();
            if(rs.next()){
                //方式一：当做字符串取出数据
                /*
                String content = rs.getString("content");
                System.out.println(content);
                */

                //方式二：返回输入流形式
                Clob clob = rs.getClob("content");
                Reader reader = clob.getCharacterStream();
                //写出到文件中
                FileWriter writer = new FileWriter(new File("e:/Demo2.java"));
                char[] buf = new char[1024];
                int len = 0;
                while( (len=reader.read(buf))!=-1){
                    writer.write(buf, 0, len);
                }
                //关闭流
                writer.close();
                reader.close();
            }


        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JdbcUtil.close(conn, stmt, rs);
        }
    }
}

3.JDBC操作字节文件：

public class Demo {

    /**
     * 文件保存到数据库中
     */
    @Test
    public void testWrite(){
        Connection conn = null;
        PreparedStatement stmt = null;
        try{
            //获取连接
            conn = JdbcUtil.getConnection();
            String sql = "insert into test2(content) values(?)";
            stmt = conn.prepareStatement(sql);
            //设置参数
            /**
             * 参数一：参数位置
             * 参数二:输入字节流
             */
            /**
             * 读取本地文件
             */
            InputStream in = new FileInputStream(new File("e:/abc.wmv"));
            //stmt.setBlob(1, in);
            stmt.setBinaryStream(1, in);
            //执行
            stmt.executeUpdate();
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JdbcUtil.close(conn, stmt, null);
        }
    }
    /**
     * 从数据中读取字节内容
     */
    @Test
    public void testRead(){
        Connection conn = null;
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try{
            //获取连接
            conn = JdbcUtil.getConnection();
            String sql = "SELECT * FROM test2 where id=?";
            //获取PreparedStatement
            stmt = conn.prepareStatement(sql);
            //设置参数
            stmt.setInt(1, 1);
            //执行sql
            rs = stmt.executeQuery();
            if(rs.next()){
                //返回输入流
                //InputStream in = rs.getBinaryStream("content");
                InputStream in = rs.getBlob("content").getBinaryStream();
                //写出文件中
                FileOutputStream out = new FileOutputStream(new File("e://3.jpg"));
                byte[] buf = new byte[1024];
                int len = 0;
                while((len=in.read(buf))!=-1){
                    out.write(buf, 0, len);
                }
                //关闭流
                out.close();
                in.close();
            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            JdbcUtil.close(conn, stmt, rs);
        }
    }
}

注意： MySQL数据库默认情况下，只能存储不超过1m的文件，由于max_allowed_packet变量的限制。
解决 ： 可以修改： %mysql%/my.ini文件, 修改或添加max_allowed_packet变量，然后重启mysql即可。

数据库事务

1.事务：
把多条sql语句看做一个事务，这个事务要么全部做，要么全部不做（要么一起成功，要么一起失败）。

2.MySQL事务操作命令：
set autocommit =0 / 1; ：设置是否自动提交事务
1： 表示自动提交事务，每执行一条sql语句，自动提交事务。
0： 表示关闭自动提交事务。
commit; ：提交事务，一旦提交事务不能回滚
rollback;： 回滚事务。回滚到事务的起始点。

3.JDBC事务操作：
Connection.setAutoCommit(false) ： 开启事务
Connection.commit(); ： 成功执行，最后提交事务
Connection.rollback(); ： 一旦遇到错误，回滚事务

需求：模拟银行转账，张三问李四借2000块钱。
图解：
这里写图片描述

package com.jdbc.d_transation;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

import com.jdbc.util.JDBCUtil;

public class TransationDemo {
    public static void main(String[] args) {
        //张三问李四借2000块钱
        Connection conn = null;
        PreparedStatement stmt = null;

        String sql1 ="UPDATE account SET balance=balance-2000 WHERE name='李四';";
        String sql2 ="UPDATE account SET balance=balance+2000 WHERE name='张三';";
        try{
            conn = JDBCUtil.getConn();
            //开启事务，将自动提交改为手动提交
            conn.setAutoCommit(false);

            stmt = conn.prepareStatement(sql1);
            stmt.executeUpdate();
            //假设出现异常
            //int i =10/0;

            stmt = conn .prepareStatement(sql2);
            stmt.executeUpdate();

            //提交事务
            conn.commit();
        }catch(Exception e){
            try {
                conn.rollback();
            } catch (SQLException e1) {
                // TODO Auto-generated catch block
                e1.printStackTrace();
            }
            e.printStackTrace();
        }finally{
            JDBCUtil.close(conn,stmt,null);
        }


    }

}

分析：假设张三李四账户里本来都是5000块钱，张三问李四借2000块钱，则应该李四账户减2000，张三账户增加2000，然而如果转账事务执行过程中出现异常，例如：int i =10/0;这个运行时期异常，李四账户此时已经减了2000块钱，而张三账户还没有增加2000块钱，出现了异常，所以回滚到事务开始的地方，两人账户都还是5000块钱。
如果没有出现什么异常，事务顺利执行，则银行转账操作执行成功，李四账户减2000，张三账户增加2000。

4.事务4大特性：
原子性： 要么一起成功，要么一起失败。
一致性： 数据库应该从一个一致性的状态到另一个一致性的状态，保持不变。
隔离性： 多个并发事务直接应该可以相互隔离。
持久性： 事务一旦提交，应该永久保持下来。

yangruxi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
clickhouse-jdbc-0.3.2
01-30
clickhouse-jdbc-0.3.2，Dinky，大数据
JDBC操作事务
qq_61727355的博客
08-16 2000
1.点击侧边栏‘Database’中的‘+’号如果没有此侧边栏的话，可以点击左下角类窗口图标，查看是否进行了折叠2.在‘Data Source’中选择需要的数据库类型，这里以MySQL为例3.输入用户名密码，可测试是否连接成功4.选择连接至哪个库直接勾选需连接的对象即可5.选中一个表双击便可显示其内容6.调出console执行SQL语句。......
JDBC进阶（如何获取自增长键值、批处理、事务、数据库连接池）
qq_52370789的博客
03-19 799
结合案例加强对知识的理解
JDBC如何实现事务
最新发布
2301_78145658的博客
05-19 218
语句都是一个单独的事务，如果设置为。内层的异常抛出到外层捕获也会回滚。设置是否为自动提交事务，如果。开启注解事务 打开事务驱动。，那么相当于开启了事务。（）：提交结束事务。（）：回滚结束事务。内外层事务全部不回滚，中处理事务，都是通过。交，也就是每条执行的。
JDBC事务
a962565183的博客
03-24 2818
1. JDBC访问流程 注册驱动 通过DriverManager获取连接 获取statement PreparedStatement是预编译的statement防治SQL注入 给 PreparedStatement设置参数 执行插入或者修改或者查询 查询会返回resultSet对象，然后再去解析resultSet对象 ...
02-JDBC事务支持
天天向上
11-24 1990
1. 数据库事务 1.1 是什么 什么是事务，可以阅读我写的有关数据库 事务 这篇文章。从事务的四大特性来说，事务机制是为了保证数据的一致性，事务是最小的执行单元，要么全部成功要么全部不成功。 1.2 为什么 众所周知，SQL语言是一种操作数据库的非过程化语言，无疑它的功能是很强大的。比如一个小小的select语法结构就可以查询到我们想要的任何数据，多么简洁方便。 然而业务是复杂的，一条SQL并不能满足我们的需求，往往一个业务的执行需要多条SQL语句的配合使用来完成。一个写操作会改变数据库的数据，多个写操
03-JDBC-事务及批处理.xmind
04-23
JDBC进阶2
dm8-oracle-jdbc16-wrapper.jar
11-18
dm8-oracle-jdbc16-wrapper.jar
hive-jdbc-uber-2.6.5.jar
06-01
hive-jdbc-uber-2.6.5.0-292.jar DbVisualizer (as of version 9.5.5) Below is an example configuration using DbVisualizer: Open the Diver Manager dialog ("Tools" > "Driver Manager...") and hit the ...
sql.rar_MySQLConnection_sqljdbc4-3.0.jar
09-20
java链接mysql数据库和sqlserver的外部包
JDBC读取常见关系型数据库中大数据
qq_39572257的博客
08-01 534
需要对大量数据进行处理时，全部读取放入内存会导致内存溢出。针对这种处理大数据出现的常见问题，可以采用流式读取数据的方法。对于不同的关系型数据库，流式读取数据的方式略有不同，下面对常见的关系型数据库流式读取数据的方式做一点个人总结。 前提：使用JDBC方式读取 MySQL MySQL中需要特别注意的是数据库连接的url，必须配置useCursorFetch=true。例如： jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf8&useSSL
尚硅谷JDBC
MObaiYUhai的博客
10-17 171
package com.atguigu.other; import java.sql.Connection; import java.sql.PreparedStatement; import org.junit.Test; import com.atguigu.utils.JDBCUtils; pub...
JDBC获取自增主键，批量操作
fanxin4123的博客
12-12 3531
一：jdbc获取数据库自增主键 使用场景：插入一个记录之后需要直接使用该记录进行别的操作，例如插入一个订单之后需要对订单详情表中插入订单项纪录，需要使用该个主键作为订单项表的外键（前提是订单表主键是自增类型） //例 @Test public void test(){ Connection connection=null; PreparedStatement prepared
java 参数化sql_Java中的参数化Oracle SQL查询？
weixin_36033884的博客
02-12 252
我认为问题是你的数据类型是CHAR(9)而“滑铁卢”只有8个字符.我假设这会返回预期的结果(LIKE和％).或者添加缺少的空间.String sql = "SELECT STUDENT FROM SCHOOL WHERE SCHOOL LIKE ? ";PreparedStatement prepStmt = conn.prepareStatement(sql);prepStmt.setStrin...
JDBC中的事务操作
li12412414的博客
08-13 6280
JDBC中事务的操作       所谓的事务，就是我们在做一些事情的时候，要么同时成功，要么同时失败。这就是事务。 可以举一个简单的例子。比如说，我们在ATM中存钱的时候，如果我们存钱成功了。那么在银行系统的日志Log中就会打印存钱成功的消息。但是，如果我们存钱失败了得话，那么 银行系统的日志Log中就会打印存钱不成功的消息，或者不打印消息。也就是说，这俩者是同时成功或者说是同时
JDBC处理大数据
浅瞳夜未的博客
07-01 821
使用Mysql数据库也可以处理大数据，在实际开发中需要把大文本或者二进制数据保存到数据库中去。clob是用来存储大文本的,mysql数据库不支持。bclob用于存储二进制数据，例如：图像、声音、二进制文件等。 对于Mysql的Text类型，可调用如下方法设置： preparedStatment.setCharacterStatment(index,reader,length); 对于MYS...
JDBC的几种获取方法，Statement，PreparedStatement，事务处理
wenqi1的博客
06-26 709
jdbc：java数据库连接 1、首先新建个jbdc.properties文件，引用mysql mysql.username=root mysql.password=123456 mysql.url=jdbc:mysql://127.0.0.1:3306/aa?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true&useSSL=fa
JDBC的使用及事务的理解
ou_shen_xian的博客
02-23 744
JDBC（Java Data Base Connectivity：java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。 简单理解：用Java的类和接口去获得数据库连接，以及操作数据库。 框架理解： JDBC执行流程图理解： 以下示例是基于maven的，故导入依赖即可，否则需要手动导入数据库驱动。 1、先创建数据库，建表插入数据。 2、使用Java idea连接好数据库 选择数据库 导入成功 pom.xml
<artifactId>spring-boot-starter-jdbc</artifactId>作用
05-18
这是一个Spring Boot的starter，它包含了用于使用JDBC（Java数据库连接）的必要依赖项和自动配置。它可以让你更容易地在Spring Boot应用程序中进行JDBC数据库操作，而不需要手动配置数据源、连接池和JDBC模板等内容...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值