![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 70
zhangxiangnan0906
这个作者很懒,什么都没留下…
展开
-
使用pyhon爬取中国银行保险监督管理委员会的保险许可证
import requestsimport jsonimport timeimport randomimport mathfrom retry import retryaddress_list = ['临沂市', '南宁市', '保定市', '廊坊市', '阜阳市', '蚌埠市', '滁州市', '马鞍山市', '芜湖市', '安庆市', '六安市', '莆田市', '漳州市', '宁德市', '清远市', '潮州市', '汕头市', '揭阳市', '江门市', '肇庆市', '湛江市', '原创 2021-11-18 21:57:51 · 1978 阅读 · 3 评论 -
SSLEFror: HTTPSComectionPool(host= w.imdb.com‘, port.-443)
文章目录问题描述解决办法总结问题描述今天在做作业的时候,有同学反映完全一样的代码,在其他电脑上可以完美运行,再另一台电脑上却出现以下错误SSLEFror: HTTPSComectionPool(host= w.imdb.com', port.-443): Max retries exceeded with url: /title/tt0110912/reviews?ratingFilter=l(Cased by SSLError(SSLError("bad handshake: SysCallErro原创 2021-04-21 13:37:27 · 251 阅读 · 2 评论 -
通过爬虫获取免费IP代理,搭建自己的IP池(https)
文章目录前言简介代码如何调用结果总结前言常见的反爬虫措施之一,就是查看用户发起请求的IP地址,若很频繁,则封IP。我们可以通过使用动态代理IP池实现反爬虫。百度搜索:爬虫IP池, 就有很多网站,这些网站一般都有提供免费的代理IP。但是这些IP质量不高,需要自己手动复制粘贴,测试后再使用,效率底下。我们可以写个爬虫,批量获取免费IP,自动测试后,再使用。本篇文章使用的目标网址为:proxy list。本教程中不解析页面,而是直接获取json格式。因为HTTP较少,所以本文章只获取其中HTTPS类型的IP原创 2021-04-05 14:41:23 · 13798 阅读 · 0 评论 -
通过爬虫获取免费IP代理,搭建自己的IP池(http)
文章目录前言简介代码总结前言常见的反爬虫措施之一,就是查看用户发起请求的IP地址,若很频繁,则封IP。我们可以通过使用动态代理IP池实现反爬虫。百度搜索:爬虫IP池, 就有很多网站,这些网站一般都有提供免费的代理IP。但是这些IP质量不高,需要自己手动复制粘贴,测试后再使用,效率底下。我们可以写个爬虫,批量获取免费IP,自动测试后,再使用。本篇文章使用的目标网址为:高可用全球免费代理IP库简介传入URL地址,返回可用的IP地址list列表。__init __ :设置请求头、请求地址listp原创 2021-02-13 17:08:22 · 24343 阅读 · 4 评论