这里主要记录下自己在开发的过程中遇到需要手动清洗生产数据库脏数据的解决方法,由于数据量较大,不可能手动去查找,只能先找出相关的脏数据,然后更正。
解决的过程
步骤一:数据库中清洗出相关的规则数据,写入txt文件中
步骤二:读取步骤一txt文件中的数据
步骤三:将步骤二读取的txt文件进行筛选
步骤四:讲脏数据写入另一个txt文件中
主要代码
//数据清洗
StringBuffer sb = new StringBuffer();
BufferedReader bufferedReader = new BufferedReader(new FileReader(new File("C:/Users/admin/Desktop/数据.txt")));
String s = null;
while((s = bufferedReader.readLine()) != null){
String ss = s.substring(1,s.length()-1);
sb.append(ss).append(",");
}
String [] str = sb.toString().split(",");
//数据汇总
BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter("C:/Users/admin/Desktop/结果.txt"));
SysMnguserinfoDTO tt = new SysMnguserinfoDTO();
ExecuteResult<SysMnguserinfoDto> res = null;
for(int i=0;i<str.length;i++){
tt.setStaffCode(str[i]);
res = sysUserInfoService.querySysUserView(tt);
if(res.getResult() == null){
bufferedWriter.write(str[i]);
bufferedWriter.newLine();
bufferedWriter.flush();
}
}
bufferedWriter.close();