1. 背景
在做一个项目的时候,解析json数据,发现有一台机器的数据有问题,平时其他机器的数据都能正常解析只有这台机器有问题,找了一些解决办法都没用(修改代码),然后感觉肯定是有一条数据格式不对,所以才抛出了这样的异常,于是就要找这具体的这个文件
2. 解决办法
像这种的小文件一共有30多W个,本来想使用二分法,但是同时复制大批量文件到文件夹中会卡死,无奈一个文件中放1W条数据,最后在大约9W-10W条的时候找出来了
在做一个项目的时候,解析json数据,发现有一台机器的数据有问题,平时其他机器的数据都能正常解析只有这台机器有问题,找了一些解决办法都没用(修改代码),然后感觉肯定是有一条数据格式不对,所以才抛出了这样的异常,于是就要找这具体的这个文件
像这种的小文件一共有30多W个,本来想使用二分法,但是同时复制大批量文件到文件夹中会卡死,无奈一个文件中放1W条数据,最后在大约9W-10W条的时候找出来了