java 依次单条数据 写入数据库 500万条

本文介绍了使用Java从一个大型文本文档中逐行读取数据,并将这些数据高效地写入到SQLServer 2008数据库的过程。内容涉及数据库表结构及字段描述,以及Java实现数据批量写入的挑战,作者提到运行一晚仅完成500万条记录的写入,但速度较慢。
摘要由CSDN通过智能技术生成

不多说废话,数据库采用SQLServer 2008

数据库名TestDB  字段

P17173_Name nvarchar(50)

P17173_MD5Key nvarchar(50)

P17173_SecurityEmail nvarchar(100)

P17173_ICPassCard nvarchar(50)

从一个超级大的txt中读取数据写入到DB中。秒懂这个txt的同学不要说话。纯个人研究。涉及到用java逐行度数据写入数据了知识;运行了一晚上写入了500万条。还没写完。要上班了只得停掉.....太慢了。

上代码

/*
 * To change this template, choose Tools | Templates
 * and open the template in the editor.
 */
package tecentdata;

import com.sun.org.apache.xml.internal.security.utils.IgnoreAllErrorHandler;
import java.io.File;
import java.io.FileInputStream;
import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.InputStreamReader;

import java.io;
import java.io.FileReader;
import java.io.FileWriter;
 import java.sql.Connection;  
 import java.sql.DriverManager;  
 import java.sql.ResultSet;  
 import java.sql.Statement;  
      
/**
 *
 * @author 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好,下载微信对账单并将其写入数据库可以分为以下步骤: 1. 登录微信支付商户平台,进入“交易记录”页面,选择需要下载对账单的日期范围和账单类型,点击“下载”按钮。 2. 通过 Java 代码将下载的对账单保存到本地磁盘上,可以使用 HttpURLConnection 进行 HTTP 请求获取对账单文件。 3. 将对账单文件中的数据读取出来,解析成 Java 对象。 4. 将解析出来的数据写入数据库中,可以使用 JDBC 连接数据库并执行 SQL 语句。 下面是一个简单的 Java 代码示例,用于下载微信对账单并将其写入数据库: ```java import java.io.*; import java.net.*; import java.sql.*; import org.dom4j.*; import org.dom4j.io.SAXReader; public class WeChatBillDownloader { public static void main(String[] args) { try { // 设置日期范围和账单类型 String billDate = "20190101"; String billType = "ALL"; // 发送 HTTP 请求下载对账单文件 URL url = new URL("https://api.mch.weixin.qq.com/pay/downloadbill"); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("POST"); conn.setDoOutput(true); OutputStream out = conn.getOutputStream(); out.write(("bill_date=" + billDate + "&bill_type=" + billType).getBytes()); out.flush(); out.close(); // 保存对账单文件到本地磁盘 InputStream in = conn.getInputStream(); File billFile = new File("bill.csv"); FileOutputStream fos = new FileOutputStream(billFile); byte[] buffer = new byte[4096]; int len; while ((len = in.read(buffer)) != -1) { fos.write(buffer, 0, len); } in.close(); fos.close(); // 解析对账单文件 SAXReader reader = new SAXReader(); Document document = reader.read(billFile); Element root = document.getRootElement(); List<Element> billElements = root.elements("bill"); for (Element billElement : billElements) { // 将每条对账单数据写入数据库中 String[] fields = billElement.getText().split(","); String sql = "INSERT INTO bill VALUES (?, ?, ?, ?, ?)"; Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydb", "root", "password"); PreparedStatement pstmt = conn.prepareStatement(sql); pstmt.setString(1, fields[0]); pstmt.setString(2, fields[1]); pstmt.setString(3, fields[2]); pstmt.setString(4, fields[3]); pstmt.setString(5, fields[4]); pstmt.executeUpdate(); pstmt.close(); conn.close(); } } catch (Exception e) { e.printStackTrace(); } } } ``` 在上面的代码中,我们使用了 HttpURLConnection 发送 HTTP 请求下载对账单文件,并使用 SAXReader 解析对账单文件中的数据。最后,我们使用 JDBC 连接 MySQL 数据库,并将解析出来的数据写入数据库中。请注意替换代码中的数据库连接信息为您自己的数据库连接信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值