百万数据文件解析验证入库

代码实现逻辑

        1、创建临时表；

        2、解析文件入临时表；

        3、利用表及字段用临时表和库内实体表进行比较标记;

        4、通过验证数据入库；

        5、根据标记字段完成解析异常日志记录；

代码参考如下：

    //读取文件数据
            File file = new File(selected.getFilePath());
            //文件不存在
            if(!file.exists()){
                return;
            }           
            //创建临时表
            tempTableName = "TMP_" + DateUtil.formatDate(DateUtil.getCurrentDate(), "yyyyMMdd") + "_" + RandomStringUtils.randomAlphanumeric(16).toUpperCase();
            createTempTable(tempTableName);           
            //创建日志文件

             logFile = createLogFile(selected);   

   

            //将文件中的数据插入到临时表及验证

            insertAndDealWithTempTable(file, logFile, tempTableName, selected);

验证部分代码举例：

    StringBuffer sb = new StringBuffer();
            sb.append("\r\n UPDATE ").append(tempTableName);
            sb.append("\r\n SET ERRORCODE=").append(ERROR_FILE).append(" ");
            sb.append("\r\n WHERE ERRORCODE=").append(VALID).append(" and PRDE IN (SELECT PRIMARYCODE FROM ").append(tempTableName).append(" GROUP BY PRDE HAVING COUNT(*) > 1) ");
            sb.append("\r\n AND id NOT IN (SELECT MIN(id) FROM ").append(tempTableName).append(" GROUP BY PRDE HAVING COUNT(*)>1) ");
            ps = conn.prepareStatement(sb.toString());
            int count = ps.executeUpdate();
            conn.commit();