爬虫
unclezou
这个作者很懒,什么都没留下…
展开
-
Python3爬取搜狗微信公众号
本文主要参考《python3网络爬虫开发实战》,来实现对相应关键词的微信公众号的爬取。爬虫的API借口为https://weixin.sogou.com/原创 2019-03-19 11:15:19 · 3809 阅读 · 3 评论 -
免费代理池的搭建
在做爬虫的时候,由于高频访问,经常会出现IP被封禁的情况,因为服务器检测到某个IP在单位时间内访问次数超过某个阈值时,会认为是爬虫程序在访问,便直接拒绝服务。因此,一般的处理手段是我们可以使用代理,来伪装IP,让服务器无法识别由我们本机发起的请求。网络上有大量免费且公开的代理可以供我们使用,但这些单利并不能保证都可以使用,因为同样的代理可能被其他人拿来爬虫使用而遭到封禁,因此,在真正使用之前,我...原创 2019-03-19 11:15:07 · 5487 阅读 · 3 评论