python爬虫代理ip使用_python爬虫使用代理IP的正确方式

现在从事爬虫行业的朋友非常多，但是很多都不知道Python爬虫程序里应该怎样来使用代理IP，今天小编就来分享一下这方面经验。这里以python3为例，请看下面介绍。

一、首先要导入 urllib的request，然后调用ProxyHandler,它可以接受代理IP的参数。

from urllib import request

px=request.ProxyHandler()

二、接着把IP地址以字典的形式放入其中，这个IP地址是我从站大爷的短效优质代理里随便提取的一个IP。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号。

st.ProxyHandler({'http':'171.11.178.189:38458'})

三、接着再用build_opener()来构建一个opener对象。

opener=request.build_opener(px)

四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。

req=request.Request('网址')

res=opener.open(req)

with open('a.html','wb') as f:

f.write(res.read())

这就是小编带来的分享了，大家明白了吗？

转载注明来自：智游代理IP http://www.zhiyoudaili.com/

相关文章内容简介

1

网络爬虫失败的原因

在互联网上，你可以看到各种各样的数据，人们为了收集数据，不断研发出新技术以收集数据，爬取数据和反爬取数据的战争白热化，你来我往却是一场没有硝烟的战争，可以说是非常激烈了。封禁IP地址是最常见和最简单的反爬数据操作。　　如今，人们越来越重视网络信息安全，也越来越重视自身的知识产权。有网络爬虫的地方自然也有反网络爬虫，双方一直僵持不下，大有道高一尺魔高一丈之感。在面对网络爬虫时，目标网站是如何做的呢？　　目标网站反网络爬虫最简单直接的方式就是区分人类访问用户和网络机器人，对HTTP请求头的属性都分外注意与小心，通过进行“是否具有人性”的检查，区别人类访问用户和网络爬虫，当访问次数超过了网站所规定的最高访问次数，就会对该IP进行封禁，出现无法访问该页面的情况。　　但是如果使用HTTP代理IP，可以让网络爬虫看起来更像人类访问用户，并且还可以伪装真实IP。当访问一个非常注重反爬虫的网站时，尽量用那种很少检查但是经常使用的动态IP，这样的话在接受语言属性时，是突破对手的反爬策略的关键。要注意经常使用但很少检查的动态ip代理，比如接受语言属性，它可能是你...

[阅读全文]

2

爬虫使用代理IP有什么优势

当我们要使用爬虫时，有经验的工程师肯定会配合代理IP来使用，而且网络上有很多文章也建议要使用爬虫代理IP，特别是一些优质代理IP，那么，爬虫使用代理IP有什么优势呢？爬虫在数据采集过程中，想要提高爬取的效率，就肯定会触发网站的“反爬虫措施”，限制爬虫的IP。而使用了代理IP的爬虫就不一样了，由于爬虫的IP在限制之前会不断的改变，所以爬虫就可以连续不断的工作了。爬虫使用代理IP之后，留在网站上的IP信息就是代理服务器的IP，这样就“隐藏”了爬虫的真实IP，保证了用户的网络安全。提高效率，保障安全，正是爬虫使用代理IP的优质，不过需要注意的是，只有高匿的代理IP才可以实现这一目标。...

[阅读全文]