多线程日采集几十万(去重后)
今天公司举办了一场SEO的测试,说如果做成今年可以加年薪,这把我乐坏了今天说什么也必须成功。
他要求写一款百度的网址采集软件,特别强调要求速度,我早上便乐此不疲的准备开始。
不过我想了一下,发现要想采集百度的数据,应该要各种解密,翻了翻资料,看了看网上发布的软件,发现大多数URl采集器都挂了,就算不挂的也是乌龟般的速度,因为百度的放采集器机制增大了,访问稍微频道就会出现验证码,而且是超难破解的二维码,还得解密网址算法。
心想不愧是这种好机会,竟然这么麻烦这下没个七七四十九天可不行了。
经过我日夜不断努力终于成功了,领导对我刮目相看,哈哈这下得年终奖非我莫属了