IO流读取数据文件，将数据写入数据库，并记录数据导入日志

最新推荐文章于 2023-06-04 19:25:51 发布
最新推荐文章于 2023-06-04 19:25:51 发布
阅读量7k 收藏 20
点赞数 2
分类专栏： java 文章标签： IO流 数据文件写入数据库 日志记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28483283/article/details/83183214
版权

流程分析：

数据类型：

ROUTE_ID,LXBM,ROAD_NAME,SRC_LON,SRC_LAT,DEST_LON,DEST_LAT
10000,G50,沪渝高速,115.8605349,30.08934467,115.5437817,30.08898601
10001,G50,沪渝高速,115.5437817,30.08898601,115.2825297,30.28938191

需求分析：数据文件名就是数据库表名，数据类型大概就是第一行是字段名（但是里面的字段名不一定跟数据库中名字完全匹配，可能多了，可能少），第二行以及后面都是对应的数据。
需求设计：

  1. 第一步：找到文件存放的指定文件夹
  2. 第二步：循环读取这些文件，获取文件名并且去掉后缀
  3. 第三步：将文件名去掉_并且全部转为小写。
  4. 第四步：匹配对应的数据库
  5. 第五步：读取文件数据第一行，并用map存储字段名对应的位置index
  6. 第六步：继续读取下面的数据，并将数据通过逗号分隔，获取list，根据字段所在位置获取数据routeZonesTest.setDestLat(Double.valueOf(split.get(map.get("destlat"))));
  7. 第七步：将所有需要插入数据库的数据放在一个list中，只到一个文件中的数据读完。（这里采用批量插入效率会高很多）
  8. 第八步：将list数据插入对应的数据
  9. 第九步：将已经读取并且插入到数据库的文件移动到别的文件夹。
  10. 第十步：记录数据插入情况

下面是代码：

public Result<?> importDB() {
	List<String> filesPath = new ArrayList<String>();
	File files = new File(BaseConst.file_data_path);
	File[] tempList = files.listFiles();
	continueOut:
	for (int i = 0; i < tempList.length; i++) {

		// 如果目标文件 是文件
		int line = 1;
		String fileName = tempList[i].getName();
		if (tempList[i].isFile()) {
			System.out.println("文     件：" + tempList[i].getName().substring(0, tempList[i].getName().lastIndexOf(".")));
			filesPath.add(tempList[i].toString());
			File file = new File(tempList[i].toString());
			try {
				BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file), "GBK"));
				String tempString = null;
				Map<String, Integer> map = new HashMap<>();
				// 记录下每个字段对应的位置
				while ((tempString = reader.readLine()) != null) {
					List<String> split = Arrays.asList(tempString.split(","));
					if (line == 1) {
						System.out.println(tempString);
						for (int s = 0; s < split.size(); s++) {
							map.put(split.get(s).replace("_", "").replace(" ", "").toLowerCase(), s);
						}
					}
					break;
				}

				// 匹配该文件属于哪个数据库
				String fileNameNew = fileName.substring(0, tempList[i].getName().lastIndexOf(".")).replace("_", "")
						.replace(" ", "").toLowerCase();
				
				if (fileNameNew.equals("routezonestest")) {
					List<RouteZonesTest> routeZonesTestList = new ArrayList<>();
					while ((tempString = reader.readLine()) != null) {
						try {
							RouteZonesTest routeZonesTest = new RouteZonesTest();
							List<String> split = Arrays.asList(tempString.split(","));
							routeZonesTest.setDestLat(Double.valueOf(split.get(map.get("destlat"))));
							routeZonesTest.setDestLon(Double.valueOf(split.get(map.get("destlon"))));
							routeZonesTest.setRoadName(split.get(map.get("roadname")));
							if (map.get("routeid") == null) {
								dataImportLog(0, 0, "Missing primary key columns", fileName);
								continue continueOut;
							}
							if (split.get(map.get("routeid")) == null) {
								dataImportLog(0, line, "The " + line + " row primary key does not exist.", fileName);
								continue continueOut;
							}
							routeZonesTest.setRouteid(Integer.valueOf((split.get(map.get("routeid")))));
							routeZonesTest.setSrcLat(Double.valueOf(split.get(map.get("srclat"))));
							routeZonesTest.setSrcLon(Double.valueOf(split.get(map.get("srclon"))));
							routeZonesTestList.add(routeZonesTest);
							line++;
						} catch (Exception e) {
							dataImportLog(0, 0, "The "+line+" row data has problems.", fileName); 
							continue continueOut;
						}
						
					}
					// 批量插入数据库
					try {
						routezonestest.insertDataBatch(routeZonesTestList);
					} catch (Exception e) { 
						dataImportLog(0, line+1, "Data insertion failed. ", fileName);
						continue;
					}
					
				} else if (fileNameNew.equals("routezonestest2")) {
					List<RouteZonesTest2> routeZonesTest2List = new ArrayList<>();
					while ((tempString = reader.readLine()) != null) {
						try {
							RouteZonesTest2 routeZonesTest2 = new RouteZonesTest2();
							List<String> split = Arrays.asList(tempString.split(",")); 
							routeZonesTest2.setDestLat(Double.valueOf(split.get(map.get("destlat")))); 
							routeZonesTest2.setDestLon(Double.valueOf(split.get(map.get("destlon"))));
							routeZonesTest2.setRoadName(split.get(map.get("roadname")));
							if (map.get("routeid") == null) {
								dataImportLog(0, 0, "Missing primary key columns", fileName);
								continue continueOut;
							}
							if (split.get(map.get("routeid")) == null) {
								dataImportLog(0, line, "The " + line + " row primary key does not exist.", fileName);
								continue continueOut;
							}
							routeZonesTest2.setRouteid(Integer.valueOf((split.get(map.get("routeid")))));
							routeZonesTest2.setSrcLat(Double.valueOf(split.get(map.get("srclat")))); 
							routeZonesTest2.setSrcLon(Double.valueOf(split.get(map.get("srclon"))));
							routeZonesTest2List.add(routeZonesTest2);
							line++;
						} catch (ArrayIndexOutOfBoundsException e) { 
							dataImportLog(0, 0, "The "+line+" row data has problems.", fileName); 
							continue continueOut;
						}
					}
					reader.close();
					// 批量插入数据库
					try {
						routezonestest2.insertDataBatch(routeZonesTest2List);
					} catch (Exception e) {
						dataImportLog(0, line, "Data insertion failed. ", fileName);
						continue;
					}
				} else {// 没有找到对应的数据库
					dataImportLog(0, line, "The filename does not correspond to the database name.", fileName);
					continue;
				}
			} catch (IOException e) {
				e.printStackTrace();
			}
			
			// 移动文件
			Result<?> removeFile = RemoveFile(file, BaseConst.file_data_used_path);
			if (removeFile.getCode() != 200) {
				dataImportLog(0, line, removeFile.getMsg(), fileName);
			} else {
				dataImportLog(1, line, null, fileName); 
			}
		}

		
		// 如果目标文件是文件夹 
		if (tempList[i].isDirectory()) {
			try {
				dataImportLog(0, 0, "The target is a folder, not a file", fileName);
			} catch (Exception e) {
				dataImportLog(0, 0, "The target is a folder, not a file, and the mobile file fails.", fileName);
			}
		}
		
	}

	return Result.returnResult();
}

private void dataImportLog(int status, int line, String reason, String fileName) {
	ImportDataLog importDataLog = new ImportDataLog();
	importDataLog.setStatus(0);
	importDataLog.setDataNumber(line);
	importDataLog.setReason(reason);
	importDataLog.setId(UUIDUtil.getUUID22());
	importDataLog.setFileName(fileName);
	importDataLog.setFileUsedName(fileName + "_" + DateUtil.formatDateTime(new Date()));
	importDataLog.setCreateTime(new Date());
	importDataLogMapper.insertSelective(importDataLog);

}

private Result<?> RemoveFile(File file, String destinationFloderUrl) {
	File destFloder = new File(destinationFloderUrl);
	// 检查目标路径是否合法
	if (destFloder.exists()) {
		if (destFloder.isFile()) {
			return Result.returnErrorResult("The target path is a file. Please check the target path!");
		}
	} else {
		if (!destFloder.mkdirs()) {
			return Result.returnErrorResult("Target folder does not exist, creation failed!");
		}
	}
	// 检查源文件是否合法
	if (file.isFile() && file.exists()) {
		String destinationFile = destinationFloderUrl + "\\" + file.getName(); 
		if (!file.renameTo(new File(destinationFile))) {
			return Result.returnErrorResult("Failed to move files!");
		}
	} else {
		return Result.returnErrorResult("The backup file path is incorrect, and the migration fails.");
	}
	return Result.returnResult();
}

日志记录：

由于插入数据肯定会因为数据存在问题，或者文件类型以及文件名存在问题而导致插入不成功，所以将这几种异常情况需要处理并且记录到日志文件中

  1. 情况1：数据文件中，数据库需要的主键列没有，则这个数据插入肯定失败，然后将插入日志写入数据库，文件不转移，并且继续执行下一个文件的数据插入if (map.get("routeid") == null) { dataImportLog(0, 0, "Missing primary key columns", fileName); continue continueOut; }
  2. 情况1：数据文件中，某一条数据没有数据，或者数据库不够，没有找到主键对应的数据，则这个数据插入失败，然后将插入日志写入数据库（同时记录在哪一行失败的），文件不转移，并且继续执行下一个文件的数据插入if (split.get(map.get("routeid")) == null) { dataImportLog(0, line, "The " + line + " row primary key does not exist.", fileName); continue continueOut; }
  3. 情况3：尽管在讲数据放入list时做了异常情况处理，但是还是多加一个catch来补货异常} catch (Exception e) { dataImportLog(0, 0, "The "+line+" row data has problems.", fileName); continue continueOut; }
  4. 情况4：在将已经封装好的list数据插入数据库中也可能存在异常try { routezonestest.insertDataBatch(routeZonesTestList); } catch (Exception e) { dataImportLog(0, line+1, "Data insertion failed. ", fileName); continue; }
  5. 情况5：没有找到对应的数据库dataImportLog(0, line, "The filename does not correspond to the database name.", fileName); continue;
  6. 情况6：目标不是文件，而是文件夹dataImportLog(0, 0, "The target is a folder, not a file", fileName);
  7. 情况7：:移动文件失败（失败的原因有很多，具体见RemoveFile方法） dataImportLog(0, line, removeFile.getMsg(), fileName);

批量插入sql

  <insert id="insertDataBatch" parameterType="java.util.List" >
 	 insert into ROUTE_ZONES_TEST2 (ROUTEID, ROAD_NAME, SRC_LAT, SRC_LON, DEST_LAT, DEST_LON )
    values 
    <foreach collection="list" item="bean" separator=",">
    	(#{bean.routeid},#{bean.roadName},#{bean.srcLat},#{bean.srcLon},#{bean.destLat},#{bean.destLon})
    </foreach>
  </insert>
小糖豆巴拉巴拉
关注
  • 2
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JDBC：处理大文本clob类型数据（字符流）,存储txt文本文件到数据库，并从数据库取出该txt文本文件
weixin_45873215的博客
12-18 630
处理大文本clob类型数据 clob用于存储大量的文本数据。大字段的操作常常以流的方式处理。 相关类型如下： 2.实现步骤 a.准备好txt文本文件 b.创建测试数据库并创建一个novel表存储txt文本文件 c.连接数据库实现该txt文本文件的存取 3.核心知识 a.数据流的读取： 读数据： File file=new File(“D:\a_novel.txt”); java.io.InputStream in=new FileInputStream(file); Reader reader=new
java把文件流保存到数据库,java如何里将文件存到数据库中
weixin_34763548的博客
03-12 3380
public class InsertBlobData {Connection con = null;/*** @param args* @throws Exception*/public static void main(String[] args) throws Exception {// TODO Auto-generated method stubInsertBlobData data =...
Excel POI读取封装(文件+示范代码)
03-02
Excel POI读取封装(文件+示范代码) package org.excel.service; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileWriter; import java.io.IOException; import java.lang.reflect.Field; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.*; import javax.jws.WebService; import org.apache.poi.hssf.usermodel.*; import org.excel.data.DataType; import org.excel.data.DealForeign; import org.excel.data.ExcelImport; import org.excel.data.impl.StInStatusImpl; import org.excel.data.impl.StuClassImportImpl; import org.excel.data.impl.StuEducationImpl; import org.excel.data.impl.StuImprotDataImpl; import org.excel.data.impl.StuInClassImportImpl; import org.excel.data.impl.StuWorkStatusImpl; import org.excel.manager.Util; import org.excel.model.ExcelMap; import org.excel.xml.ExcelXmlParse; import net.sourceforge.jtds.jdbcx.JtdsDataSource; @WebService public class ExcelServiceImpl implements IExcelService { String tableName = ""; public static Integer suc = 0; public static Integer fail = 0; StringBuilder insert = new StringBuilder( " insert into {tableName} {column} values {values}"); /** 读取Excel表格数据 */ public List<HashMap> readExcel(String excelName, Integer sheetIndex, String startPoint, String endPoint) throws Exception { FileInputStream inputStream = null; inputStream = new FileInputStream(excelName); HSSFWorkbook workbook = new HSSFWorkbook(inputStream); HSSFSheet sheet = workbook.getSheetAt(sheetIndex); String[] sc = null;// 开始坐标 String[] ec = null;// 结束坐标 int startRow = 0;// 默认开始行数 int endRoe = sheet.getPhysicalNumberOfRows();// 默认结束行 int startLine = 0;// 默认开始列 int endLine = 0;// 结束列 if (startPoint != null && endPoint != null) { sc = startPoint.
内容操作-- IO流
weixin_47064622的博客
09-02 93
IO流文件路径后添加"true",写入的内容会在原来内容的后面进行添加（默认为false）字节流字节输入流 FileInputStream字节输出流 FileOutputStream文件拷贝统计一个文件中各个字母出现次数，包括字符出现次数字符流字符输入流 FileReader字符输出流 FileWriter用户登录（每个用户有单独的文件，文件内存有用户的密码）缓冲流字节缓冲输入流 BufferedInputStream字节缓冲输出流 BufferedOutputStreamreadLine() 每次读一行n
IO流
MTCya的博客
07-28 191
IO流 1. 介绍 IO流，什么是IO： I：Input O：Output 通过IO可以完成硬盘文件的读和写。 IO流的分类： 一种是按照流的方向进行分类： 往内存中去：叫输入（Input），或者叫做读（Read） 往内存中出来：叫输出(Output)，或者叫做写（Write） 另一种是按照读取数据方式不同进行分类： 有的流是按照字节的方式读取数据，一次读取1个字节byte ,等同于一次读取8个二进制位。这种流是万能的，什么类型都可以读取。包括：文本文件，图片，声音文件
使用流读取数据量大的文件并存到mysql数据库中
小小码农-小梁的博客
04-28 1322
import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.nio.file...
JavaIO流：IO流概念
love_study1314的博客
12-09 180
本文介绍了JavaIO流的基本概念、文件概念、IO流的分类、以及必须搞懂的流。
IO流的使用之保存对象信息（java日志十四）
cr18175627706的博客
06-04 496
本文仅仅简单介绍如何保存对象数据。 方法1：序列化 一、将类序列化：1.Serializable 2.serialVersionUID3.transient 二、使用ObjectInputStream和ObjectOutputStream 方法2：文本格式保存对象 一.将对象数据写进文本 PrintWriter 二.读取文档数据1.File中的readAllLines方法 2.String中的split方法
java–io流写入数据
码仔Jan的博客
07-29 443
java–io流写入数据 第一部分 FileOutputSteam的构造器因为我传了个true，这个true是用来实现追加效果的，也就是你再次运行这段代码的时候它会在原本这个文件内容的基础上追加代码中新写入的内容，不会因为每次运行而刷新掉之前的内容 初始示例（未处理异常版本） import java.io.FileOutputStream; import java.io.IOException; import java.nio.charset.StandardCharsets; public class
将文件上传下载mysql_将文件上传、下载(以二进制流保存到数据库)实现代码
weixin_29364297的博客
01-19 352
1、将文件以二进制流的格式写入数据库首先获得文件路径，然后将文件以二进制读出保存在一个二进制数组中，与数据库建立连接，在SQL语句中将二进制数组赋值给相应的参数，完成向数据库中写入文件的操作/// 将文件流写入数据库/// /// 存入数据库文件的路径/// 数据库中插入文件的行标示符ID/// public int UploadFile(string filePath, string id){b...
Java开发实战1200例(第1卷).(清华出版.李钟尉.陈丹丹).part3
06-12
实例021 重定向输出流实现程序日志 31 实例022 自动类型转换与强制类型转换 33 2.2 运算符 34 实例023 加密可以这样简单（位运算） 34 实例024 用三元运算符判断奇数和偶数 35 实例025 更精确地使用浮点数 35 实例...
mysql 流读取文件_流文件读写数据库方法
weixin_35628777的博客
02-07 439
采用_StreamPtr处理Loadfromfile，savetofile，open来处理。/*测试插入流文件，*/void insert_flow1(){_StreamPtr pwStream;_bstr_t strPath("D:\\my\\21.wav");_bstr_t strOpen("");_variant_t varBLOB;_variant_...
t-io学习入门篇（一）
chusaiou2655的博客
05-06 1401
初识网络编程 最近有大神在oschina开源了t-io，据说相当牛逼！由于本人是个菜，一直从事web开发，很想往网络编程方向转型。正好借大神的开源工具，自己好好充实一下自己的生活！ 从hello world代码开始 ByteBuffer的认识和使用，刚开始接触就开了client和server...
读取日志文件，以时间开头就作为一条完整的数据，然后对数据的相关字段进行截取，存入数据库
weixin_43154319的博客
01-11 407
要求： 是对外暴露restful接口插入日志数据，每调用一次插入一条数据,数据来源于fmm-.log（见附件），需要开发出相应的解析代码。 基本流程： 1 读取本地文件fmm-qplatform.log 2 解析该文件里对应的表字段内容(请用正则表达式解析) 3 调用restful接口插入这些数据到数据库表中（请用httpclient工具） 片段数据： 2015-05-28 16:14:21,405 [pool-2-thread-1][INFO ] ch.Filter1 - chq中航段为：null 201
实现日志文件直接导入数据库
weixin_30814329的博客
07-16 1015
现在我要实现一个功能，把日志文件直接导入到数据库，搜索了一下资料，实现了这功能，现在写一个小Dome。我操作的数据库是SQL Server 一、封装了一个将日志文件读取成List集合的方法 /// <summary> /// 读取文本文件转换为List /// </summary> /// &l...
java读取zip压缩文件并将数据写入到数据库
最新发布
07-11
您可以使用Java的ZipInputStream类来读取zip压缩文件，然后将数据写入数据库。以下是一个简单的示例代码： ```java import java.io.FileInputStream; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.zip.ZipEntry; import java.util.zip.ZipInputStream; public class ZipFileReader { public static void main(String[] args) { String zipFilePath = "path/to/your/zip/file.zip"; String dbUrl = "jdbc:mysql://localhost:3306/mydatabase"; String dbUsername = "your-username"; String dbPassword = "your-password"; try { // 打开数据库连接 Connection conn = DriverManager.getConnection(dbUrl, dbUsername, dbPassword); // 创建插入数据的SQL语句 String insertQuery = "INSERT INTO your_table_name (file_name, file_data) VALUES (?, ?)"; // 创建PreparedStatement对象 PreparedStatement pstmt = conn.prepareStatement(insertQuery); // 创建ZipInputStream对象 ZipInputStream zipInput = new ZipInputStream(new FileInputStream(zipFilePath)); // 读取zip文件中的每个条目 ZipEntry entry = zipInput.getNextEntry(); while (entry != null) { // 读取条目的文件名和数据 String fileName = entry.getName(); byte[] fileData = new byte[(int) entry.getSize()]; zipInput.read(fileData); // 设置参数并执行插入语句 pstmt.setString(1, fileName); pstmt.setBytes(2, fileData); pstmt.executeUpdate(); // 关闭当前条目，准备读取下一个条目 zipInput.closeEntry(); entry = zipInput.getNextEntry(); } // 关闭ZipInputStream、PreparedStatement和数据库连接 zipInput.close(); pstmt.close(); conn.close(); System.out.println("数据成功写入数据库！"); } catch (IOException | SQLException e) { e.printStackTrace(); } } } ``` 请将代码中的以下内容替换为您自己的信息： - `zipFilePath`：您的zip文件的路径。 - `dbUrl`：您的数据库URL。 - `dbUsername`：您的数据库用户名。 - `dbPassword`：您的数据库密码。 - `your_table_name`：您要插入数据的表名。 这段代码将逐个读取zip文件中的条目，并将每个条目的文件名和数据插入到数据库中。您需要根据自己的需求修改代码以适应您的数据库结构和数据处理逻辑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值