python自学第18天 基本库的使用2019.12.4

今天继续学习基本库
文中说利用基本urlopen()方法，可以完成对简单网页的GET请求抓取.(这个方法不知道是什么，GET不知道是什么？）

哇，进展太快了，开始模糊了，给链接传递一些参数，首先看下urlopen()函数的API:（这个是什么意思）
前文的代码是：

import urllib.request

response = urllib.request.urlopen(‘https://www.python.org’)
print(response.status)
print(response.getheaders())
print(response.getheader(‘server’))

发现urllib.request.urlopen 在框号内加了很多东西。如下
urllib.request.urlopen（url,data=Name,[timeout,]*,cafile=None,cadefault=False,context=None)
文中解释，除了URL还可以添加其他，开始分解一下上述的参数。
（1）data参数
data参数是可选的。如果要添加参数，并且如果它是字节流编码格式的内容，即bytes类型，则通过bytes()方法转化，如果传递这个参数，则他的请求方式不在是GET的方式，则是POST方式。
简单点说，data参数：如果是字节流编码格式内容（bytes类型），需要通过bytes()方法转发。
传递data参数，需要POST方式，请求方式不是GET方式。
举例子，两种区别。

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({‘word’:hello’}),encoding=‘utf8’)
response = urllib.request.urlopen(‘http://httpbin.org/post’,data=data)
print(response.read())

输出结果跟作者差不多

代码解释：传递了一个参数word,值为hello.
它需要被转码成bytes（字节流）类型。
转字节流采用了bytes（）方法，该方法：该方法的第一个参数需要是str（字串符）类型，需要用urllib.parse模块里的urlencode()方法来将参数字典转化为字串符
第二个参数指定编码格式，指定为utf8.

请求的站点是httpbin.org(提供HTTP请求测试）
这个代码测试POST请求。
传递的参数出现在form字段中，表面是模拟了表单提交的方式，以POST方式传输数据。

timeout参数
timeout参数用于设置超时间，单位为秒。（请求超过设置时间，没有得到响应就抛出异常）
实例：
import urllib.request

response = urllib.request.urlopen(‘http://httpbin.prg/get’,timeout=1).
print(response.read())

通过这个参数可以设置时间（如果网页长时间未响应就跳过他的抓取）
用try except语句实现，继续敲代码去。
import socket
import urllib.request
import urllib.error

try:
response = urllib.request.urlopen(‘http://httpbin.org/get’,timeout=0.1)
except urllib.error.URLError as e:
if isinstance(e.reason,socket.timeout):
print(‘TIME OUT’)

输出跟书中一样

TIME out

继续学习
其他参数
context参数（它必须是ssl.SSLcontext类型）用来指定SSL设置。
cafile参数和capath参数分别指定CA证书和他的路径。这个请求在HTTPS链接时有用。
cadefault参数现在已经弃用，默认值是False.
以上讲解了urlopen()的方法，最基本的方法，可以完成简单的请求和网页抓取。

2，Request
urlopen()的方法可以实现最基本的请求发起，几个简单的参数并不足以构成完整的请求。
如果请求中加入Headers等信息。可以利用更强大的Request类来构建。
文中给出了一个Request的用法。去打码。

import urllib.request

request = urllib.request.Request(‘http://python.org’)
request = urllib.request.urlopen(request)
print(response.read().decode(‘utf-8’))

没有说出输出是什么，我也不知道输出对不对

Request构造是什么：
class urllib.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
(1)第一个参数URL用于请求URL,这是必传参数，其他都是可选参数。
(2)第二个参数是data,如果要传必须传bytes(字节流）类型，如果是字典，可以用ulllib.parse模块的urlencode()编码。
(3)第三个参数是headers是一个字典
（他就是请求头，请求时通过headers参数直接构造），也可以调用请求实例的add_header()方法添加
添加请求头最常用的方法就是通过修改User-Agent 来伪装浏览器，默认是User-Agent是python-urllib,通过它来伪装浏览器，比如伪装火狐浏览器。可以把他设置为
Mozilla/5.0(x11:u:Linux i686) Gecko/20071127 Fierfox/2.0.0.11
(4)第四个参数origin_req_host指的是请求方的host名称或者IP地址
(5)第五个参数unverifiable表示这个请求是否是无法验证的。默认值是False,意思就是说用户没有足够权限来选择接收这个请求的结果。
例如：
我们请求html文档中的图片，但是没有权限。这时unverifiable的值就是true
(6)第六个参数 method是一个字符串，用来指示请求使用的方法，比如GET,POST和put等

举例代码，打码去：

from urllib import request, parse

url = ‘http://httpbin.org/post’
headers = {‘User-Agent’: ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’,
‘Host’: ‘httpbin.org’
}
dict = {‘name’: ‘Germey’}
data = bytes(parse.urlencode(dict), encoding=‘utf8’)
req = request.Request(url=url, data=data, headers=headers, method=‘POST’)
response = request.urlopen(req)
print(response.read().decode(‘utf-8’))

输出结果除了IP不一样，其他跟书中一样。

headers 也可以用 add_header()方法添加
req = request.Request(url=url, data=data, method=‘POST’)
req.add_header(‘User-Agent’, ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’)

朦朦胧胧，有很多东西都不懂，虽然操作成功了，还是有很多东西不明白。进度太慢了。
休息睡觉