上个月接到一个任务,采集某平台足彩上的数据,看了下网页结构,不是很复杂。本以为就是各种类型数据量巨大,程序+单机采集一周内搞定,然而真正工作时,遇到了许许多多的小问题,主要如下:
1、访问频率限制;
2、比赛时间随时变化;
3、乱码;
4、升降级附加赛、冠军杯资格赛与正赛分开;
5、联赛数据不规范、字段长度不统一;
6、具体比赛中数据格式不统一;
7、缺失数据记录;
8、一些公司改过名;
……
前前后后有几十个小问题,主要还是因为历史数据年代跨度比较大,该网站修改自己的数据格式后很难做到统一,所以每次遇到的问题总是千奇百怪,一个小小的问题可能需要一整天的时间去发现,这时需要修改程序进行容错处理,这里又要强调下容错的问题:容错多了,可能有的地方遇到错误,程序不报错但是数据没有真正获取到;容错少了,下次又出现相同的格式问题再次报错。
还好,在约定周期内顺利完成了所有任务,用户非常满意。