- 博客(2)
- 收藏
- 关注
原创 关于分布式爬虫问题的求解
使用分布式实现抓取网页的邮箱和url代码实现平台:win10服务器:Sever参考资料:清华大牛尹成的爬虫视频(实现分布式交互保存)客户端:Client代码实现作用:从天涯上爬取邮箱和url,并一直爬取下去(不需要加请求头,2018/11/20)##Severimport multiprocessingimport multiprocessing.managersimport r...
2018-11-20 10:50:40
306
原创 爬取manhua.fzdm.com上的妖尾漫画
学习使我快乐初学者,爬取manhua.fzdm.com上妖精的尾巴漫画,没做任何防错设施和防爬虫设施,因为不会。。。运行的时候过了好久才被发现,可能是网速太慢了import requestsimport reimport os#获得一页的响应def get_one_page(url): headers={'User-Agent':'Mozilla/5.0 (Windo...
2018-10-07 21:24:01
10844
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人