通过上次写的自动获取IP代理池,访问whatismyip,来测试ip代理访问

原创 2017年01月03日 22:51:27

代码有时运行不成功,可能是代理地址问题。文件简单介绍创建opener对象。

优秀文章:http://www.jb51.net/article/46495.htm

#-*-coding:UTF-8-*-
#author:若鸟
#date:2017-1-3
#function:通过获得的代理IP,实现IP代理登录,查看自己IP测试
import urllib.request
import random
from ProxyIP import GetProxyIP
url = "http://whatismyip.org/"      

ipList=GetProxyIP._get_Proxy_IP()                                               #获取自己爬取的代理池
proxyIpSupport = urllib.request.ProxyHandler({"http":random.choice(ipList)})                #实现IP代理
     
opener = urllib.request.build_opener(proxyIpSupport)                            #创建一个opener对象。

urllib.request.install_opener(opener)                                           #安装opener
opener.addheaders= [("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0")]     #添加头部
seq = urllib.request.Request(url)

req = urllib.request.urlopen(seq)
html = req.read().decode("utf-8")
print(

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Java网络爬虫(八)--实现定时爬取与IP代理池(反反爬)

注:对代码及思路进行了改进—Java网络爬虫(十三)–重构定时爬取以及IP代理池(多线程+Redis+代码优化)定点爬取当我们需要对金融行业的股票信息进行爬取的时候,由于股票的价格是一直在变化的,我们...

使用MDC标注日志上下文

MDC简介log4j 1.x中MDCFilter实现log4j2.0中MDCFilter实现log4j配置中,使用MDC样例代码   MDC简介 MDC[http://l...

IP代理池的Python实现

爬虫采集数据时,如果频繁的访问某个网站,会被封IP,有些是禁止访问3小时,有些是直接拉黑名单。为了避免被禁,一般采取的措施有三种: 放慢抓取的速度,设置一个时间间隔; 模拟浏览器行为,如...
  • cbbing
  • cbbing
  • 2015-11-19 09:19
  • 4962

log4j的MDC

org.apache.log4j Class MDCjava.lang.Object org.apache.log4j.MDCpublic class MDCextends java.lang....
  • huxin1
  • huxin1
  • 2010-07-15 09:19
  • 6813

log4j MDC用户操作日志追踪配置

一:MDC介绍        MDC(Mapped Diagnostic Context,映射调试上下文)是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。某些应用程...

MDC介绍 -- 一种多线程下日志管理实践方式

一:MDC介绍   MDC(Mapped Diagnostic Context,映射调试上下文)是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。某些应用程序采用多...

log4j的NDC/MDC开发与应用,多线程、多平台环境中的跟踪

随着 Web 应用的复杂化,用户在网站上的操作过程日益复杂。网站功能的多样化和交互性的提高为用户提供了多种可能的浏览路径。对于一个复杂的站点,用户在网站上操作的行为模式和操作习惯的分析,会给网站的优化...

Java实现代理ip访问网络的实现方式之Java实现切换ip访问网络资源

用程序实现代理ip访问网络资源是大家比较常用的一个功能,今天就来看一下如何用Java实现ip的切换代理访问网络资源,废话不多说,下面直接上代码: package ip_daili; import j...
  • llqqxf
  • llqqxf
  • 2016-07-11 15:38
  • 4459

log4j自带的两个类MDC和NDC作用以及用途

要想实现获取IP并显示在log中必须先了解log4j自带的两个类MDC和NDC   NDC和MDC是log4j用于存储应用程序的上下文信息(context infomation),从而便于...
  • joeyon
  • joeyon
  • 2016-10-31 14:46
  • 1956

代理ip

1、使用ip代理的原因 使用爬虫爬取一个网站的大量数据时会因为频繁的连接该网站给对方服务器造成极大的压力而被对方屏蔽ip,这个时候就需要爬虫频繁的切换ip,故而需要维护自己的ip代理池。 2、ip代理...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)