简单的jdbc操作数据库例子，高效率插入数据

最新推荐文章于 2020-06-28 22:07:50 发布
最新推荐文章于 2020-06-28 22:07:50 发布
阅读量753 收藏
点赞数
分类专栏： java 数据库学习总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011698346/article/details/51646963
版权

项目用到的jar：

dom4j-1.6.1.jar
mysql-connector-java-3.1.13-bin.jar
poi-3.8-20120326.jar
poi-ooxml-3.8-20120326.jar
poi-ooxml-schemas-3.8-20120326.jar
xmlbeans-2.3.0.jar

package com.liuyunlong.jdbc;

/**
 * 主函数入口
 * 
 * @author liuyunlong
 *
 */
public class Main {

	public static void main(String[] args) {

		DBstoreHelper dbs = new DBstoreHelper();
		try {
			dbs.storeToDb();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}


package com.liuyunlong.jdbc;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.apache.poi.xssf.usermodel.XSSFCell;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

import com.liuyunlong.Param;

/**
 * 存储数据工具，初始化jdbc连接参数，从Excel读取数据，批量处理insert数据
 * 
 * @author liuyunlong
 *
 */
public class DBstoreHelper {

	private String insert_sql;

	private String username;

	private String password;

	private String driver;

	private String url;

	private String filePath;

	private Connection conn;

	private PreparedStatement psts;

	public DBstoreHelper() {
		initParam();
		initDB();
	}

	/**
	 * 初始化数据库链接
	 */
	private void initDB() {
		try {
			Class.forName(driver);
			conn = DriverManager.getConnection(url, username, password);
			psts = conn.prepareStatement(insert_sql);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 * 从属性文件中初始化参数
	 */
	private void initParam() {
		insert_sql = "INSERT INTO bbs_myvip_imei (imei, product, updatetime, extra) VALUES (?,?,?,?)"; // 写死了sql语句
		InputStream stream = getClass().getClassLoader().getResourceAsStream("param.properties");
		Properties p = new Properties();
		try {
			p.load(stream);
			username = p.getProperty("jdbc.username");
			password = p.getProperty("jdbc.password");
			driver = p.getProperty("jdbc.driverClassName");
			url = p.getProperty("jdbc.url");
			url += "?useServerPrepStmts=false&rewriteBatchedStatements=true";
			filePath = p.getProperty("file.path");
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public void storeToDb() throws Exception {
		List<Param> imeis = initDate();
		doStroe(imeis);
	}

	private void doStroe(List<Param> imeis) throws Exception {
		conn.setAutoCommit(false); // 设置手动提交
		System.out.println("数据导入开始，请耐心等待......");
		long start = System.currentTimeMillis();
		int count = 0;
		int tens = 0;
		if (null != imeis && imeis.size() > 0) {
			for (int i = 0; i < imeis.size(); i++) {
				psts.setString(1, imeis.get(i).getImei());
				psts.setString(2, imeis.get(i).getProduct());
				psts.setLong(3, System.currentTimeMillis() / 1000);
				psts.setString(4, imeis.get(i).getExtra() == null ? "" : imeis.get(i).getExtra());
				psts.addBatch(); // 加入批量处理
				count++;
				if (count % 1000 == 0) {
					++tens;
					System.out.println("当前数剧量：" + tens * 1000);
				}
			}
		}
		psts.executeBatch(); // 执行批量处理
		conn.commit(); // 提交
		long end = System.currentTimeMillis();
		System.out.println("数据导入完毕,总数为：" + count + "   所用时间为: " + (end - start) + " ms");
		conn.close();

	}

	/**
	 * 初始化数据，从本地的Excel文件中读取
	 * 
	 * @param srcFile
	 * @return
	 */
	private List<Param> initDate() {
		System.out.println("开始读取数据，请耐心等待......");
		String fileDir = filePath;
		int beginIndex = fileDir.lastIndexOf(".");
		int endIndex = fileDir.length();
		String suffix = fileDir.substring(beginIndex, endIndex);
		List<Param> paramList = new ArrayList<Param>();
		InputStream inputStream;
		try {
			inputStream = new FileInputStream(fileDir);
			if (".xls".equals(suffix)) {
				// paramList = readXls(inputStream);
			} else {
				paramList = readXlsx(inputStream);
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		System.out.println("读取数据结束，数据量为：" + paramList.size());
		return paramList;

	}

	/**
	 * 读取Excel文件，后缀名为xlsx
	 * 
	 * @param inputStream
	 * @return
	 */
	private List<Param> readXlsx(InputStream inputStream) {

		XSSFWorkbook xssfWorkbook;
		List<Param> paramList = new ArrayList<Param>();
		try {
			xssfWorkbook = new XSSFWorkbook(inputStream);
			// 循环工作表Sheet
			int sheetNumbers = xssfWorkbook.getNumberOfSheets();
			for (int numSheet = 0; numSheet < sheetNumbers; numSheet++) {
				XSSFSheet xssfSheet = xssfWorkbook.getSheetAt(numSheet);
				if (xssfSheet == null) {
					continue;
				}

				// 循环当前Sheet的行Row
				int rowNumbers = xssfSheet.getLastRowNum();
				for (int rowNum = 0; rowNum <= rowNumbers; rowNum++) {
					XSSFRow xssfRow = xssfSheet.getRow(rowNum);
					if (xssfRow == null) {
						continue;
					}

					// 循环当前Row的列Cell
					Param param = new Param();
					int cellNumbers = xssfRow.getLastCellNum();
					if (2 == cellNumbers) {// 2列分别获取两列中的值作为key和value
						for (int cellNum = 0; cellNum <= cellNumbers; cellNum++) {
							XSSFCell xssfCell = xssfRow.getCell(cellNum);
							if (xssfCell == null) {
								continue;
							}
							if (cellNum == 0) {
								DecimalFormat df = new DecimalFormat("0");
								String whatYourWant = df.format(xssfCell.getNumericCellValue());
								param.setImei(whatYourWant);
							} else if (cellNum == 1) {
								param.setProduct(xssfCell.toString());
							}
						}
					} else if (1 == cellNumbers) {
						/*
						 * // 1列,必须用":"或"："分隔开，否则不解析 XSSFCell xssfCell =
						 * xssfRow.getCell(0); String xssStr =
						 * xssfCell.toString(); if (null != xssfCell &&
						 * (xssStr.indexOf(":") > -1 || xssStr.indexOf("：") >
						 * -1)) { String[] paramFix = null; if
						 * (xssStr.contains(":")) { paramFix =
						 * xssStr.split(":"); } else if (xssStr.contains("：")) {
						 * paramFix = xssStr.split("："); } if (null != paramFix
						 * && paramFix.length > 0) {
						 * param.setParamKey(paramFix[0]);
						 * param.setParamValue(paramFix[1]); } } else {
						 * continue; }
						 */} else {// 非1或2列为非法文档，不解析
						continue;
					}
					paramList.add(param);
				}
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return paramList;
	}
}

package com.liuyunlong;

public class Param {

	private String imei;

	private String product;

	private Integer updatetime;

	private String extra;

	public String getImei() {
		return imei;
	}

	public void setImei(String imei) {
		this.imei = imei;
	}

	public String getProduct() {
		return product;
	}

	public void setProduct(String product) {
		this.product = product;
	}

	public Integer getUpdatetime() {
		return updatetime;
	}

	public void setUpdatetime(Integer updatetime) {
		this.updatetime = updatetime;
	}

	public String getExtra() {
		return extra;
	}

	public void setExtra(String extra) {
		this.extra = extra;
	}

	@Override
	public String toString() {
		return "Param [imei=" + imei + ", product=" + product + ", updatetime=" + updatetime + ", extra=" + extra + "]";
	}
}


jdbc.driverClassName = com.mysql.jdbc.Driver
jdbc.url = jdbc:mysql://ip:3306/dbname
jdbc.username = root
jdbc.password = 1q2w3e4r5t!

file.path = D:\\excel\\8676-I03.xlsx

测试结果： 

开始读取数据，请耐心等待......
读取数据结束，数据量为：200000
数据导入开始，请耐心等待......
当前数剧量：1000
当前数剧量：2000
当前数剧量：3000
当前数剧量：4000
当前数剧量：5000
当前数剧量：6000
当前数剧量：7000
当前数剧量：8000
当前数剧量：9000
当前数剧量：10000
当前数剧量：11000
当前数剧量：12000
当前数剧量：13000
当前数剧量：14000
当前数剧量：15000
当前数剧量：16000
当前数剧量：17000
当前数剧量：18000
当前数剧量：19000
当前数剧量：20000
当前数剧量：21000
当前数剧量：22000
当前数剧量：23000
当前数剧量：24000
当前数剧量：25000
当前数剧量：26000
当前数剧量：27000
当前数剧量：28000
当前数剧量：29000
当前数剧量：30000
当前数剧量：31000
当前数剧量：32000
当前数剧量：33000
当前数剧量：34000
当前数剧量：35000
当前数剧量：36000
当前数剧量：37000
当前数剧量：38000
当前数剧量：39000
当前数剧量：40000
当前数剧量：41000
当前数剧量：42000
当前数剧量：43000
当前数剧量：44000
当前数剧量：45000
当前数剧量：46000
当前数剧量：47000
当前数剧量：48000
当前数剧量：49000
当前数剧量：50000
当前数剧量：51000
当前数剧量：52000
当前数剧量：53000
当前数剧量：54000
当前数剧量：55000
当前数剧量：56000
当前数剧量：57000
当前数剧量：58000
当前数剧量：59000
当前数剧量：60000
当前数剧量：61000
当前数剧量：62000
当前数剧量：63000
当前数剧量：64000
当前数剧量：65000
当前数剧量：66000
当前数剧量：67000
当前数剧量：68000
当前数剧量：69000
当前数剧量：70000
当前数剧量：71000
当前数剧量：72000
当前数剧量：73000
当前数剧量：74000
当前数剧量：75000
当前数剧量：76000
当前数剧量：77000
当前数剧量：78000
当前数剧量：79000
当前数剧量：80000
当前数剧量：81000
当前数剧量：82000
当前数剧量：83000
当前数剧量：84000
当前数剧量：85000
当前数剧量：86000
当前数剧量：87000
当前数剧量：88000
当前数剧量：89000
当前数剧量：90000
当前数剧量：91000
当前数剧量：92000
当前数剧量：93000
当前数剧量：94000
当前数剧量：95000
当前数剧量：96000
当前数剧量：97000
当前数剧量：98000
当前数剧量：99000
当前数剧量：100000
当前数剧量：101000
当前数剧量：102000
当前数剧量：103000
当前数剧量：104000
当前数剧量：105000
当前数剧量：106000
当前数剧量：107000
当前数剧量：108000
当前数剧量：109000
当前数剧量：110000
当前数剧量：111000
当前数剧量：112000
当前数剧量：113000
当前数剧量：114000
当前数剧量：115000
当前数剧量：116000
当前数剧量：117000
当前数剧量：118000
当前数剧量：119000
当前数剧量：120000
当前数剧量：121000
当前数剧量：122000
当前数剧量：123000
当前数剧量：124000
当前数剧量：125000
当前数剧量：126000
当前数剧量：127000
当前数剧量：128000
当前数剧量：129000
当前数剧量：130000
当前数剧量：131000
当前数剧量：132000
当前数剧量：133000
当前数剧量：134000
当前数剧量：135000
当前数剧量：136000
当前数剧量：137000
当前数剧量：138000
当前数剧量：139000
当前数剧量：140000
当前数剧量：141000
当前数剧量：142000
当前数剧量：143000
当前数剧量：144000
当前数剧量：145000
当前数剧量：146000
当前数剧量：147000
当前数剧量：148000
当前数剧量：149000
当前数剧量：150000
当前数剧量：151000
当前数剧量：152000
当前数剧量：153000
当前数剧量：154000
当前数剧量：155000
当前数剧量：156000
当前数剧量：157000
当前数剧量：158000
当前数剧量：159000
当前数剧量：160000
当前数剧量：161000
当前数剧量：162000
当前数剧量：163000
当前数剧量：164000
当前数剧量：165000
当前数剧量：166000
当前数剧量：167000
当前数剧量：168000
当前数剧量：169000
当前数剧量：170000
当前数剧量：171000
当前数剧量：172000
当前数剧量：173000
当前数剧量：174000
当前数剧量：175000
当前数剧量：176000
当前数剧量：177000
当前数剧量：178000
当前数剧量：179000
当前数剧量：180000
当前数剧量：181000
当前数剧量：182000
当前数剧量：183000
当前数剧量：184000
当前数剧量：185000
当前数剧量：186000
当前数剧量：187000
当前数剧量：188000
当前数剧量：189000
当前数剧量：190000
当前数剧量：191000
当前数剧量：192000
当前数剧量：193000
当前数剧量：194000
当前数剧量：195000
当前数剧量：196000
当前数剧量：197000
当前数剧量：198000
当前数剧量：199000
当前数剧量：200000
数据导入完毕,总数为：200000   所用时间为: 9077 ms


wj沧浪之水
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JDBC||插入记录实例
JockLiu的博客
08-13 419
JDBC连接数据库操作步骤 导入包：要求你包括含有需要进行数据库编程的 JDBC 类的包。大多数情况下，使用import java.sql.就足够了。 注册 JDBC 驱动程序：要求你初始化驱动程序，这样你可以与数据库打开通信通道。 打开连接：需要使用DriverManager.getConnection()方法创建一个 Connection 对象，它代表与数据库服务器的物理连接。要...
C++操作MySQL大量数据插入效率低下的解决方法
09-04
首先，我们来看一个简单的示例代码，该代码尝试插入10000条数据到数据库，但在没有开启事务的情况下，效率极低。 ```cpp #include #include #include #include "mysql.h" #pragma comment(lib, "libmysql.lib") ...
通过jdbc操作数据库之添加数据
微微撒的博客
01-13 1001
1、在mysql数据库中创建图书信息表books。 create table books( id integer primary key not null auto_increment, bookname varchar(45) not null default 'zero', price double not null default 0.0, bookCoun
mybatis常用jdbcType数据类型.txt
12-05
mybatis常用jdbcType数据类型.txt mybatis常用jdbcType数据类型.txt
JDBC简单入门_JDBC小例子
4393Z
12-02 6202
JDBC是什么JDBC就是相当于一个数据库的管家，不管是何种数据库，MySQL、Oracle 等数据库，都可以通过JDBC来统一对各种不同的数据库进行操作。这就相当方 便了，这时，你就不必为每个数据库程序写一个专门的程序进行连接、操作等， 这都可以通过JDBC来完成。也是体现了java ”一次编写到处运行“的特性。在程序中连接上数据库我的笔记本使用的是MySQL的数据库，就使用MySQL来说明
大数据量高并发的数据库优化,sql查询优化
01-27
2. 数据流向图分析：构建系统内的数据流向图，可以帮助识别潜在的瓶颈，预防因并发访问导致的问题，例如上述例子中的日期临界点并发插入异常。 3. 数据冗余与完整性：在逻辑设计中，为了保证数据一致性，通常会减少...
数据库任意插入.zip易语言项目例子源码下载
03-22
数据库任意插入是一个易语言编程项目，它展示了如何在数据库中执行插入操作。易语言是一种以中文为编程语言的编程环境，旨在降低编程门槛，让更多人能够进行程序开发。本项目适用于初学者，尤其是对数据库操作感兴趣...
SQLServer 批量插入数据的两种方法
12-15
在示例中，仅插入10万条数据就花费了72390毫秒，效率明显不高。 第二种方法是使用SqlBulkCopy类进行批量插入。SqlBulkCopy是SQL Server提供的专门用于快速大量插入数据的API。它允许我们在客户端构建一个DataTable...
sqlite数据类型详细介绍+javaJDBC连接sqlite小例子
04-18
本文将深入探讨SQLite的数据类型及其与Java JDBC连接SQLite的基础知识，并通过一个简单的Java例子程序来演示如何存取数据。 SQLite支持七种基本的数据类型，它们分别是： 1. NULL：表示空值，任何值都可以赋为NULL...
JDBC数据库之添加数据
weixin_30872499的博客
09-03 499
通过JDBC向数据库中添加数据，可以使用INSERT语句实现插入数据SQL语句，对于SQL语句中的参数可以只用占位符“？”代替，然后通过PreparedStatement对其赋值以及执行SQL。代码如下： （1）添加图书页面，并不复杂，只是一个简单的表单，页面采用UTF-8编码方式。 1 <html> 2 <head> 3 <meta http-eq...
Java>JDBC操作数据库添加、修改、删除数据的使用方法
越努力，越幸福！
08-26 1万+
使用Statement执行sql的对象完成数据库添加、修改、删除动作。 数据库添加数据： 语法：insert into 表名 values(值1,值2,...值n) package cn.itcast.jbdc; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException...
java中与mySQL数据库中longtext类型对应的类型
Hi, I'm Cocoa!
08-18 3万+
昨天在数据库里设置一个字段的类型为longtext。 在java中写了对应的type为TextArea，结果就出类型不匹配的错了，后来改成String，好了。
MySQL插入数据
雪狼的博客
11-02 2万+
MySQL插入数据
JDBC：简单使用
Holyn的博客
03-29 214
1.JDBC: 将sql语句发送到数据库服务器端执行的技术. 封装了java连接数据库的方法. 是sun公司定义的连接数据库技术的规范，是接口. 2.JDBC技术开发步骤: a).引入jar包 b).创建连接 1).加载数据库驱动器 Class.forName("com.mysql.jdbc.Driver"); 2).用驱动器创建连接对象 String url = "jdbc:mysq...
jdbc数据库 插入数据
EnchantE0的博客
06-28 401
java数据库 插入数据 在操作数据库之前需要完成的工作 插入数据 即register 再插入之前对数据库中的数据进行验证是否插入的数据与已有的数据重复 main以及结果
ColdFusion向数据库插入数据例子
冷枫@CSDN
05-15 2165
向数据库插入数据的内容   保存以下代码，使用URL：HTTP://127.0.0.1/insert.cfm来得到HTML的内容。插入新职员相关信息.t { background-color: #FFFFFF; bord
java利用jdbc连接数据库之插入数据
热门推荐
贾继康的博客
03-29 3万+
java通过JDBC连接数据库具体功能： 使用PreparedStatement接口中的executeUpdate()方法向数据库中插入一条数据 前提： 具有一个数据库和一个列表（列表和数据库长啥样后面会说） 1：创建java project2：下载jar程序驱动包 官方下载地址： 我选择的标记处下载的 解压之后如图所示： 3：在新建的java项目中新建文件夹libs4： 将下载好

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值