![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
文章平均质量分 78
EmpGro
这个作者很懒,什么都没留下…
展开
-
【爬虫学习6】爬虫自动获取并使用代理ip
当同一ip短时间内多次链接同一网站,很可能导致ip被封,所以需要利用代理ip防止封禁。代理ip可以通过百度很容易的获取,于是这里使用Requests自动爬取代理网站上的ip,并验证是否可用,最后在利用代理建立一个简单的爬虫。-本文全部代码见于我的Git主要思路1.从代理网站爬取IP地址及端口号并存储2.验证ip能否使用3.格式化ip地址4.在requests中使用代理ip爬网站原创 2017-10-24 16:45:29 · 9559 阅读 · 4 评论 -
【爬虫学习5】使用BeautifulSoup改进对知乎的爬取
在上一篇文章“使用selenium爬取知乎timeline“时,碰到一个问题: 知乎的timeline中得news有三类: 这三类都是分别包含在<div class='Card TopstoryItem TopstoryItem--experimentExpand TopstoryItem--experimentButton'>...</div>这样一个card里面,但是div内部具体实原创 2017-10-22 16:20:00 · 653 阅读 · 0 评论 -
【爬虫学习4】Python爬取动态页面思路(二)
在前之前文章中尝试用简单的Requests爬取知乎timeline时发现动态加载内容无法成功爬取,尝试分析数据包来爬取也没有成功,于是最后在这里使用selenium来尝试,终于成功。全部代码见于我的[Git](https://github.com/EmpGro/Selsnium4Zhihu)原创 2017-10-20 16:05:06 · 587 阅读 · 0 评论 -
【爬虫学习3】Python爬取动态页面思路(一)
之前在爬取知乎timeline内容时,因为动态加载只爬取到了少量内容,于是研究了下对动态加载页面的爬取。这篇文章主要是对非加密的ajax异步加载内容的爬取,顺便加入了一些json的知识。然鹅很不幸知乎是加密的,所以这个办法并不能解决问题。计划试试selenium+PhantomJS来解决知乎的问题,这个就看下一篇文章了。全部代码见于我的GitHub页面原创 2017-10-16 17:13:18 · 3937 阅读 · 1 评论 -
【爬虫学习2】Requests cookies爬取知乎个人timeline
上次用Requests爬取了静态网页-正则表达式加Requests爬取猫眼电影排行 这次想尝试使用requests.Session进行cookie登录爬取网页内容 -全部代码见于我的Git准备素材新建工程及文件获取cookies和headers编写爬虫载入并格式化cookis载入并格式化headers获取网页并保存保存网页的目的一个注意正则表达式匹配一小技巧获取结原创 2017-10-04 13:01:05 · 836 阅读 · 0 评论 -
【爬虫学习1】正则表达式加Requests爬取猫眼电影排行
正则表达式加Requests爬取猫眼电影排行学习慕课网视频的课后总结http://study.163.com/course/courseMain.htm?courseId=1003735019正则表达式加Requests爬取猫眼电影排行Requests获取网页数据正则表达式匹配数据正则表达式学习参看这里数据格式化多页面爬取保存为文件Requests获取网页数据运用Requests获原创 2017-09-28 16:21:08 · 1560 阅读 · 1 评论 -
python 爬虫'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte 的解决方案
今天用Python爬取豆瓣的时候,发现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83in position 1:invalid start byte”,一直在找文件的错误,最后经过网友的提示,错误原因竟然是我的 headers 中有一条:“'Accept-Encoding': 'gzip, deflate'”这一条是...转载 2019-04-09 09:37:41 · 1844 阅读 · 0 评论