IP禁止克星——ProxyHandler处理器(代理设置)

使用背景:要访问的网站会定期检测某个IP的访问此网站的次数,如果访问次数多的不像正常人,它会禁止这个IP访问此网站!!

目标网站:http://httpbin.org/ip(查看自己访问此网站的ip)

用途:设置一个代理服务器(换小号)可以解决不被禁止的问题!

我们可以运用http//httpbin.org 网站来查看http请求的一些参数。比如可以查看自己访问此网站的ip。
在这里插入图片描述
点击执行以后会看到ip等的数据!

常用的代理:

  1. 西刺免费代理IP:http://www.xicidaili.com/
  2. 快代理:http://www.kuaidaili.com/
  3. 代理云:http://www.dailiyun.com/

我们打开快代理获取一个免费的ip如下图:
在这里插入图片描述

使用代理的步骤:

  1. 使用ProxyHandler,传入代理构建一个Handler
  2. 使用上面创建的Handler构建一个opener
  3. 使用opener去发送一个请求

代码实现:

from urllib import request
url='http://httpbin.org/ip'
#使用代理的步骤:
# 1.使用ProxyHandler,传入代理构建一个Handler
handler=request.ProxyHandler({'http':'IP:PORT'})    #注意目标网站的类型是http还是https

# 2.使用上面创建的Handler构建一个opener
opener=request.build_opener(handler)

# 3.使用opener去发送一个请求
resp=opener.open(url)

print(resp.read())

由于网络问题出现urllib.error.URLError: <urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接>或者ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。是正常的。可以尝试多个ip或者从推荐的网站中寻找合适的ip

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【为什么学爬虫?】        1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到!        2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是:网络请求:模拟浏览器的行为从网上抓取数据。数据解析:将请求下来的数据进行过滤,提取我们想要的数据。数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是:爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求!【课程服务】 专属付费社群+定期答疑
### 回答1: ICM 2012 C题犯罪克星是一道图论问题。 题目给出一张有向图,其中有若干个点被标记为犯罪点,要求找到一个最小的集合S,使得S中的点都是犯罪点,并且对于图中任意一个点v,都有v到S中至少一个点的路径存在。 这道题可以用贪心算法来解决,具体做法如下: 1. 从犯罪点中选择一个入度最大的点作为起点 2. 从起点开始遍历图,找到所有可达的点 3. 将所有找到的点标记为已遍历 4. 重复步骤1-3,直到所有点都被标记为已遍历 5. S集合为所有经过的犯罪点 这样得到的S集合是最小的,因为每次选择入度最大的点作为起点,能够使得遍历的点数最少。 ### 回答2: ICM 2012中的C题犯罪克星是一个关于犯罪率和城市环境之间关系的问题。解决这道题需要通过分析数据和进行模型建立。 首先,我们可以收集一系列城市的数据,包括犯罪率、人口、就业率、教育水平、收入水平以及其他可能与犯罪率相关的因素。然后,我们可以对这些数据进行统计分析,找出它们之间的相关关系。 接下来,我们可以建立一个数学模型,以便更好地理解犯罪率和城市环境之间的关系。这个模型可以采用多元回归分析或其他统计方法,同时考虑各种因素之间的相互作用。 在构建模型时,我们需要保证数据的有效性和可靠性。这可能包括对数据进行清洗、处理异常值等。另外,我们还可以使用可视化工具,如散点图、折线图等,来呈现犯罪率和不同因素之间的关系。 模型建立完毕后,我们可以使用该模型进行预测和分析。通过输入城市的相关数据,我们可以预测该城市的犯罪率。同时,我们还可以通过调整模型中的参数,了解不同因素对犯罪率的影响程度,并找到降低犯罪率的最佳策略。 最后,我们可以对模型进行验证,以确保模型的有效性和准确性。我们可以将模型应用到其他城市中,看看其预测结果与实际情况是否一致。 总之,ICM 2012的C题犯罪克星需要我们通过分析数据、建立数学模型,并进行预测和分析,以找出犯罪率和城市环境之间的关系,以及如何降低犯罪率。这需要我们运用统计分析和数学建模技术,并结合实际情况进行验证。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值