多线程日采集几十万（去重后）
最近报了一个网站群的课程的班，然后闲来无事突然想收集一些网站数据库，可以做一款采集百度搜索的网站域名软件，来做数据筛选。
于是我快马加鞭干了起来， ... 然后发现，百度的防爬虫机制是真严格，层层加密，验证码也超难破解，而且更换代码也频繁，做个软件是真的难呀。
不行我得继续努力想要做程序员的话就必须付出努力，程序员就是痛并快乐着。
今天就算头发都掉光了我也得做出来..... 于是我到网上去找资料，问了好多同事，终于功夫不负有心人，终于让我给研究出来了。
然后我就去睡觉了，心想明天可以尝试一下，谁知第二天发现不行。
后面我又相继加入了搜狗、360、神马、必应等搜索引擎并发启动，多线程去采集。
终于，还是被我研究出来了，这些软件还真是难呀
1582
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
