多线程日采集几十万(去重后)
朋友是做SEO的,昨天他找我说有个软件不会,叫我帮他写一款百度的网址采集软件,特别强调要求速度,我想了一下同意了谁叫我乐于助人呢,哈哈哈。
不过我想了一下,发现要想采集百度的数据,应该要各种解密,翻了翻资料,看了看网上发布的软件,发现大多数URl采集器都挂了,就算不挂的也是乌龟般的速度,因为百度的放采集器机制增大了,访问稍微频道就会出现验证码,而且是超难破解的二维码,还得解密网址算法。
既然已经答应朋友了也不好推辞。
今天就要小试牛刀制作软件...给朋友看了后连连称赞。
我开心坏了一种前所未有的自豪涌上心头,朋友说要请我吃饭,我开玩笑的说道今天不吃顿大餐可不行。
我俩不约而同的笑了起来