Python
RKGG爱吃鱼
每天进步一点点。
展开
-
HTTP请求报文和HTTP响应报文
HTTP请求报文和HTTP响应报文 HTTP报文是面向文本的,报文中的每一个字段都是一些ASCII码串,各个字段的长度是不确定的。HTTP有两类报文:请求报文和响应报文。HTTP请求报文一个HTTP请求报文由请求行(r转载 2017-12-23 10:40:53 · 289 阅读 · 0 评论 -
Python爬虫(二)-再探豆瓣Top250
紧接着上一篇,当我继续想要爬取豆瓣的热门评论的时候,报错了,显示我的IP异常,我意识到被豆瓣反爬了,于是在网上找各种伪装的方法,几番搜索下,总结出了以下几种伪装的方法:1.构造UA池:通过构造一个“User-Agent”池,骗过要爬取的网站,伪装成浏览器进行访问,这种方法比较常见,但如果当你的IP被禁之后,这种方法并不见得有效。2.设置代理(构造IP池):看过很多大牛的回答,设置代理不失为一个好方...原创 2018-01-13 10:58:38 · 1044 阅读 · 0 评论 -
Python爬虫(一)-初探豆瓣Top250
最近突然对python兴趣浓厚,在看过几本基础书籍后,便想动手开始做做小的实践,首当其冲的便是爬虫,在学习了很多大神的爬虫入门贴后,深感佩服,在这里感谢以下两位博主的精彩分享:1.xlzd 2.Jecvay其中,由于目前好多网站都采取了反爬行动,所以在学习的时候并不能完全采用上述两位博主的源码,但是参考价值很大。本文是在xlzd的基础篇的例子上稍微加了点爬取内容,即可以下载Top250的影片图片和...原创 2018-01-08 13:47:11 · 1481 阅读 · 0 评论