多线程日采集几十万(去重后)
最近报了一个网站群的课程的班,然后闲来无事突然想收集一些网站数据库,可以做一款采集百度搜索的网站域名软件,来做数据筛选。
于是我快马加鞭干了起来, ... 然后发现,百度的防爬虫机制是真严格,层层加密,验证码也超难破解,而且更换代码也频繁,做个软件是真的难呀。
不行我得继续努力想要做程序员的话就必须付出努力,程序员就是痛并快乐着。
今天就算头发都掉光了我也得做出来..... 于是我到网上去找资料,问了好多同事,终于功夫不负有心人,终于让我给研究出来了。
然后我就去睡觉了,心想明天可以尝试一下,谁知第二天发现不行。
后面我又相继加入了搜狗、360、神马、必应等搜索引擎并发启动,多线程去采集。
终于,还是被我研究出来了,这些软件还真是难呀