爬虫初学
关注
分享
扫一扫
chu xue zhe
这个作者很懒，什么都没留下…
展开
-
爬取manhua.fzdm.com上的妖尾漫画
学习使我快乐初学者，爬取manhua.fzdm.com上妖精的尾巴漫画，没做任何防错设施和防爬虫设施，因为不会。。。运行的时候过了好久才被发现，可能是网速太慢了import requestsimport reimport os#获得一页的响应def get_one_page(url): headers={'User-Agent':'Mozilla/5.0 (Windo...原创 2018-10-07 21:24:01 · 10907 阅读 · 0 评论 -
关于分布式爬虫问题的求解
使用分布式实现抓取网页的邮箱和url代码实现平台：win10服务器：Sever参考资料：清华大牛尹成的爬虫视频（实现分布式交互保存）客户端：Client代码实现作用：从天涯上爬取邮箱和url，并一直爬取下去（不需要加请求头，2018/11/20）##Severimport multiprocessingimport multiprocessing.managersimport r...原创 2018-11-20 10:50:40 · 310 阅读 · 0 评论