Python3学习笔记（urllib模块的使用）

https://blog.csdn.net/wf592523813/article/details/79141463

https://www.cnblogs.com/Lands-ljk/p/5447127.html

 

1.基本方法

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

-         url:  需要打开的网址

-         data：Post提交的数据

-         timeout：设置网站的访问超时时间

直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。

1 from urllib import request
2 response = request.urlopen(r'http://python.org/') # <http.client.HTTPResponse object at 0x00000000048BC908> HTTPResponse类型
3 page = response.read()
4 page = page.decode('utf-8')

urlopen返回对象提供方法：

-         read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作

-         info()：返回HTTPMessage对象，表示远程服务器返回的头信息

-         getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到

-         geturl()：返回请求的url

2.使用Request

urllib.request.Request(url, data=None, headers={}, method=None)

使用request（）来包装请求，再通过urlopen（）获取页面。

1 url = r'http://www.lagou.com/zhaopin/Python/?labelWords=label'
2 headers = {
3 'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
4 r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
5 'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
6 'Connection': 'keep-alive'
7 }
8 req = request.Request(url, headers=headers)
9 page = request.urlopen(req).read()
10 page = page.decode('utf-8')

 

用来包装头部的数据：

-         User-Agent ：这个头部可以携带如下几条信息：浏览器名和版本号、操作系统名和版本号、默认语言

-         Referer：可以用来防止盗链，有一些网站图片显示来源http://***.com，就是检查Referer来鉴定的

-         Connection：表示连接状态，记录Session的状态。

3.Post数据

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

urlopen（）的data参数默认为None，当data参数不为空的时候，urlopen（）提交方式为Post。

 

 1 from urllib import request, parse
 2 url = r'http://www.lagou.com/jobs/positionAjax.json?'
 3 headers = {
 4     'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
 5                   r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
 6     'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
 7     'Connection': 'keep-alive'
 8 }
 9 data = {
10     'first': 'true',
11     'pn': 1,
12     'kd': 'Python'
13 }
14 data = parse.urlencode(data).encode('utf-8')
15 req = request.Request(url, headers=headers, data=data)
16 page = request.urlopen(req).read()
17 page = page.decode('utf-8')

 

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None)

urlencode（）主要作用就是将url附上要提交的数据。 

 

1 data = {
2     'first': 'true',
3     'pn': 1,
4     'kd': 'Python'
5 }
6 data = parse.urlencode(data).encode('utf-8')

 

经过urlencode（）转换后的data数据为?first=true?pn=1?kd=Python，最后提交的url为

http://www.lagou.com/jobs/positionAjax.json?first=true?pn=1?kd=Python

Post的数据必须是bytes或者iterable of bytes，不能是str，因此需要进行encode（）编码

1 page = request.urlopen(req, data=data).read()

当然，也可以把data的数据封装在urlopen（）参数中

4.异常处理

 

 1 def get_page(url):
 2     headers = {
 3         'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
 4                     r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
 5         'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
 6         'Connection': 'keep-alive'
 7     }
 8     data = {
 9         'first': 'true',
10         'pn': 1,
11         'kd': 'Python'
12     }
13     data = parse.urlencode(data).encode('utf-8')
14     req = request.Request(url, headers=headers)
15     try:
16         page = request.urlopen(req, data=data).read()
17         page = page.decode('utf-8')
18     except error.HTTPError as e:
19         print(e.code())
20         print(e.read().decode('utf-8'))
21     return page

 

5、使用代理 

urllib.request.ProxyHandler(proxies=None)

当需要抓取的网站设置了访问限制，这时就需要用到代理来抓取数据。

 

 1 data = {
 2         'first': 'true',
 3         'pn': 1,
 4         'kd': 'Python'
 5     }
 6 proxy = request.ProxyHandler({'http': '5.22.195.215:80'})  # 设置proxy
 7 opener = request.build_opener(proxy)  # 挂载opener
 8 request.install_opener(opener)  # 安装opener
 9 data = parse.urlencode(data).encode('utf-8')
10 page = opener.open(url, data).read()
11 page = page.decode('utf-8')
12 return page

 

python之urlencode()，quote()及unquote()

字符串被当作url提交时会被自动进行url编码处理，在python里也有个urllib.urlencode的方法，可以很方便的把字典形式的参数进行url编码。当url地址含有中文或者“/”的时候，这是就需要用做urlencode一下编码转换。 
urlencode和quote 
urlencode的参数是词典，它可以将key-value这样的键值对转换成我们想要的格式，将URL中的键值对以连接符&划分。如果你用的是python2.*，urlencode在urllib.urlencode。如果使用的是python3，urlencode在urllib.parse.urlencode。

    import urllib.parse  

    data={"name":"王尼玛","age":"/","addr":"abcdef"}  
    print(urllib.parse.urlencode(data))  

结果：

• name=%E7%8E%8B%E5%B0%BC%E7%8E%9B&addr=abcdef&age=%2F

如果只想对一个字符串进行urlencode转换，使用urllib提供的另外一个函数：quote()

    print(urllib.parse.quote("hahaha你好啊！"))  

结果：

hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81

unquote 
对url进行解码，把类似”%xx”的字符替换成单个字符，当urlencode之后的字符串传递过来之后，接收完毕解码使用urllib提供的unquote()函数，注意没有urldecode()！若unquote方法接收到的参数类型是unicode，则返回的值类型也是unicode，只不过是把”%”替换成了’\x’，明智的做法是使用str（）转换一下再用

    import  urllib.parse  

    data={"name":"王尼玛","age":"/","addr":"abcdef"}  
    print(urllib.parse.urlencode(data))
    print(urllib.parse.unquote("name=%E7%8E%8B%E5%B0%BC%E7%8E%9B&addr=abcdef&age=%2F"))  
    print(urllib.parse.quote("hahaha你好啊！"))  
    print(urllib.parse.unquote("hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81"))  

结果：

name=%E7%8E%8B%E5%B0%BC%E7%8E%9B&addr=abcdef&age=%2F
name=王尼玛&addr=abcdef&age=/
hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81
hahaha你好啊！

在做解码的时候，看unquote()这个函数的输出，是对应中文在gbk下的编码，在对比一下quote()的结果不难发现，所谓的解码就是把字符串转成gbk编码，然后把\x替换成%。如果你的终端是utf8编码的，那么要把结果再转成utf8输出，否则就乱码。 
可以根据实际情况，自定义或者重写urlencode()、urldecode()等函数。

注意： 
如果是已经获得了Unicode类型的字符串，字符串内容是，quote过的，带百分号%的，比如：

%E8%BD%AC%E5%8F%91%E5%BE%AE%E5%8D%9A

而此处，想要获得对应的中文内容，则需要：

1.先去把当前的unicode字符串转换为普通的str

quotedStringStrType= str(quotedStringUnicodeType)

2.再去通过urllib.unquote去解码，得到真正的中文内容

urlunquotedOriginalStr = urllib.unquote(quotedStringStrType);

此处的最终解码得到的字符串是UTF-8编码的。