![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 80
梦醒时光@
这个作者很懒,什么都没留下…
展开
-
使用IP代理池伪装你的IP(python)
如何伪装你的 IP 呢?对于 python 来说,使用代理访问很简单,就拿我们经常使用的 requests 库来说,使用代理 ip如下:定义代理 IPproxies = { 'http':'http://xx.xxx.xxx.xxx:xxxx', 'http':'http://xxx.xx.xx.xxx:xxx', ....}使用代理response = r...转载 2020-03-30 19:28:54 · 4141 阅读 · 1 评论 -
爬虫(五):动态html --- 反爬策略,selenium + phantomjs,案例:爬取豆瓣图书(页面内容是 js 代码,获取加密数据)
1、反爬策略2、html页面技术3、selenium 和 phantomjs4、selenium 的三种等待5、案例:爬取豆瓣图书(获取加密数据)原创 2020-05-24 22:00:41 · 1287 阅读 · 0 评论 -
爬虫(二):requests模块 ---get和post方法,cookie和session,代理
1、requests模块的使用2、requests中的get方法和post方法的使用3、get方法总结 和 post方法总结4、response对象的属性5、解析json数据的两种方法6、cookie和session7、代理的使用原创 2020-05-24 21:58:33 · 4108 阅读 · 0 评论 -
爬虫(一):爬虫的基础知识 ---通用爬虫和聚焦爬虫,http和https协议,常见的响应状态码
1.通用爬虫和聚焦爬虫2.http 和 https 3.请求报头 和 响应报头4.响应状态码原创 2020-05-24 21:58:20 · 499 阅读 · 0 评论