chrome动态ip python_学习交流：21天搞定Python分布爬虫之urllib库

学习交流：21天搞定Python分布爬虫之urllib库

视频课程请添加：

urllib是Python自带标准库，可以直接使用。urllib具体详细内容见Python的官方文档。

附官方文档链接：https://docs.python.org/3/library/urllib.html。

urllib可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。urllib标准库包括四大模块： urllib.request 请求模块、 urllib.parse解析模块、 urllib.error异常处理模块、 urllib.robotparser robot.txt文件解析模块。

一、request模块下的urlopen函数

在 urllib 库中，所有和网络请求相关的方法，都集中在 urllib.request 模块下面。 urlopen 函数基本的使用：

from urllib import request;url = "www.baidu.com" #被抓取的网页resp = urllib.request.urlopen(url) #读取信息print(resp.read()) #返回信息

使用浏览器访问百度，右键查看源代码。跟我们刚才打印出来的数据是一模一样的。也就是说，上面的代码就已经帮我们把百度首页的全部代码爬下来了。一个基本的url请求对应的python代码真的非常简单。以下对 urlopen函数的进行详细讲解：

对象=urllib.request.urlopen(url, data=None)print(对象.read())

1.url：请求的url。 2.data：请求的 data，如果设置了这个值，那么将变成 post请求。3.返回值：返回值是一个 http.client.HTTPResponse对象，这个对象是一个类文件句柄对象。有 read(size)、 readline、 readlines以及 getcode等方法。 二、request模块下的urlretrieve函数

request.retrieve函数的作用是将将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地：

from urllib import requesturl='www.baidu.com'reqs=urllib.request.urlretrieve(url,'baidu.html')

三、request模块下的urlencode函数 用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动的给我们进行编码。而如果使用代码发送请求，那么就必须手动的进行编码，这时候就应该使用 urlencode 函数来实现。 urlencode 可以把字典数据转换为 URL 编码的数据。示例代码如下：

from urllib import parsedata={'name':'爬虫基础','greet':'hello,world','age':18}reqs = urllib.parse.urlencode(data)print(reqs)

四、parse模块下的parse_qs函数

parse_qs函数与urlencode函数的作用正好相反， 可以将经过编码后的url参数进行解码。示例代码如下：

from urllib import parseqs='name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100'reqs = parse.parse_qs(data)print(reqs

五、parse模块下的urlparse和urlsplit函数

urlparse或者是urlsplit函数可以对url的各个组成部分进行分割。示例代码如下：

from urllib import parseurl = 'http://www.baidu.com/s?username=zhiliao'result1=parse.urlparse(url)result2=parse.urlsplit(url)print('scheme':result1.scheme)print('scheme':result2.scheme)print('netloc':result1.netloc)print('netloc':result2:netloc)print('path':result1.path)print('path':result2.path)print('query':result1.query)print('query':result2.query)

urlparse和urlsplit基本上是一模一样的。唯一不一样的地方是，urlparse里面多了一个params属性，而urlsplit没有这个params属性。

六、request.request类

如果想要在请求的时候增加一些请求头，那么就必须使用request.Request类来实现。比如要增加一个参数User-Agent，示例代码如下：

import urllib from requesturl='www.baidu.com'headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}rq=request.request('url',headers=headers)resp = request.urlopen(rq)print(resp.read())

请求头中除了参数User-Agent外，还有Referer、Cookie。详细信息查阅《21天搞定Python分布爬虫之http协议和Chrome抓包工具》。

七、request.ProxyHandler()处理器

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import request#没有使用代理url='http://httpbin.org/ip'resp=request.urlopen(url)print(resp.read())#使用代理url='http://httpbin.org/ip'# 1.使用proxyhandler传入代理，构建一个handlerhandler=request.ProxyHandler({'http':'171.35.147.216:9999'})# 2.使用上面创建的handler构建一个openeropener=request.build_opener(handler)# 3.使用opener去发送请求resp = opener.open(url)print(resp.read())

1.代理的原理在请求目的网站之前，先请求代理服务器(创建handler)，然后让代理服务器去请求目的网站(opener)，代理服务器拿到目的网站数据后(open)，再转发给我们的代码。http://httpbin.org：这个网站可以方便的查看http请求的一些参数。 2.在代码中使用代理的基本步骤(1)使用request.Proxyhandler()，传入代理(代理是一个字典，字典的key是'http'或者'https',key值是'ip:port')，创建handler；(2)使用request.build_opener()和第一步创建的handler,创建opener；(3)使用opener.open(url)函数，发起请求。 3.常用的代理

西刺免费代理IP：http://www.xicidaili.com/

快代理：http://www.kuaidaili.com/

代理云：http://www.dailiyun.com/

视频课程请添加：