- 博客(2)
- 收藏
- 关注
RSS订阅原创 关于分布式爬虫问题的求解
使用分布式实现抓取网页的邮箱和url代码实现平台：win10服务器：Sever参考资料：清华大牛尹成的爬虫视频（实现分布式交互保存）客户端：Client代码实现作用：从天涯上爬取邮箱和url，并一直爬取下去（不需要加请求头，2018/11/20）##Severimport multiprocessingimport multiprocessing.managersimport r...
2018-11-20 10:50:40
294
原创 爬取manhua.fzdm.com上的妖尾漫画
学习使我快乐初学者，爬取manhua.fzdm.com上妖精的尾巴漫画，没做任何防错设施和防爬虫设施，因为不会。。。运行的时候过了好久才被发现，可能是网速太慢了import requestsimport reimport os#获得一页的响应def get_one_page(url): headers={'User-Agent':'Mozilla/5.0 (Windo...
2018-10-07 21:24:01
10657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人