【第22期】观点:IT 行业加班,到底有没有价值?

通过上次写的自动获取IP代理池,访问whatismyip,来测试ip代理访问

原创 2017年01月03日 22:51:27

代码有时运行不成功,可能是代理地址问题。文件简单介绍创建opener对象。

优秀文章:http://www.jb51.net/article/46495.htm

#-*-coding:UTF-8-*-
#author:若鸟
#date:2017-1-3
#function:通过获得的代理IP,实现IP代理登录,查看自己IP测试
import urllib.request
import random
from ProxyIP import GetProxyIP
url = "http://whatismyip.org/"      

ipList=GetProxyIP._get_Proxy_IP()                                               #获取自己爬取的代理池
proxyIpSupport = urllib.request.ProxyHandler({"http":random.choice(ipList)})                #实现IP代理
     
opener = urllib.request.build_opener(proxyIpSupport)                            #创建一个opener对象。

urllib.request.install_opener(opener)                                           #安装opener
opener.addheaders= [("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0")]     #添加头部
seq = urllib.request.Request(url)

req = urllib.request.urlopen(seq)
html = req.read().decode("utf-8")
print(

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

HttpClient代理IP及设置连接读取超时

1、不废话,上代码: public static void main(String[] args) throws Exception { CloseableHttpClient httpClien...

代理IP,爬微信公众号的网页

先通过西刺制作IP代理池,然后伪造USERAGENT 为安卓机或者 苹果机,通过筛选出的可用IP,登陆目标网页,本意是通过电脑抓 包投票的POST 的data和PARA来构造相应项。 但狗腾讯对...

HttpClient使用代理IP

在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。 这时候,代理IP就派上用场了。 关于代理IP的话 也分几种 透明代理、匿名代理、...

python开源IP代理池--IPProxys

今天博客开始继续更新,谢谢大家对我的关注和支持。这几天一直是在写一个ip代理池的开源项目。通过前几篇的博客,我们可以了解到突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理,在爬虫工作中...
  • qiye_
  • qiye_
  • 2016-10-17 12:18
  • 4880

代理IP刷网页源码

昨晚帮龙哥写了这样一个程序,也没有什么太高深的“技术”,希望哪位友友能更新一下吧! (只怪自己算法基础不好,不然也写个简单的正则表达式什么的,直接抓取网页中的代理地址~~) 1、部分VC源码:下面Wh...

HttpClient使用代理ip

public static void main(String[] args) throws ClientProtocolException, IOException { CloseableHttpCl...

免费代理IP的获取方式——编程实现

如果你做过网络爬虫,就一定知道代理IP的作用。现在越来越多的网站意识到内容的保护性,所以会做出许多防抓取的措施,而其中一种比较有效的方式就是单个IP访问的页面数量限制,那么如何突破这种限制呢??

C#设置代理IP及刷网站访问量demo

二话不说先上图: 设置代理ip是参考网上的资料,下面是设置代理ip代码:

爬取代理ip

#!/usr/bin/python # -*- coding:utf8 -*- import urllib2 from bs4 import BeautifulSoup import csv impo...

python3中requests中使用ip代理池随机生成ip

版权声明:本文为博主原创文章,未经博主允许不得转载。
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)