python爬虫url常用内置库有哪些_【Python爬虫笔记】urlib库1～20

1.urlib库是Python自带的访问网络的模块。在Python2中和Python3中有区别，最大的差别：

python2中：urlib库分为urlib和urlib2这2个库；

Python3中：统一为urlib模块了，其中urlib.request约等于python2中的urlib库，urlib.parse约等于python2中的urlib2库。

2.urlib.request中常用的有2个方法：urlopen和urlretrieve。

打开网址response = urlib.request.urlopen(url=网址)返回值是一个对象，类型是http.client.HTTPResponse。

urlib.request.urlretrieve(url=网址，文件路径)可以直接把所给网址处的资源保存到本地。

3.urlib.parse中的：

quote(url)百分号编码；

unquote(url)百分号解码;

urlencode(dict)将字典拼接为参数同时完成百分号编码。

4.response中：read()、geturl()、getheaders()、getcode()、readlines()

response.read()得到的是二进制格式的字符串，二进制字符串和普通字符串可以相互转化。

response.geturl()根据响应内容也可以获取url

response.getheaders()获取头部信息，列表里有元组。dict(response.getheaders())把元组可以转换为字典，取值就方便了。

response.getcode()获取状态码

response.readlines()按行读取，也是二进制数据。

5.打开网址response = urlib.request.urlopen(url=网址)如果报错响应码400``时`，则尝试在url字符串最后面添加一个/```再重试。

6.构建请求头(反爬虫的关键一步)：

7.总的来说，如果我们在获取请求对象时，不需要过多的参数传递，我么可以直接选择urllib.request.urlopen();如果需要进一步的包装请求，则需要用urllib.request里的urlopen()进行包装处理。

8.当使用代码去爬虫时，如果访问某一地址报错，则通常是没有真正模拟浏览器去访问。此时，请重点检查请求头中的内容。

通常不需要以下2点，有的话易出错：

'Accept-encoding':'gzip, deflate'表示是否是接收压缩后的数据格式

'Content-length':'120'表示接收的数据长度。

9.urllib.request.urlopen()给一个url会去发送请求。缺点是无法定制请求头。

urllib.request.Request()该类用来创建一个请求对象，可以设置请求头。

以上2种却无法满足更高级的需求：设置代理、设置cookie

10.使用handler和opener设置代理服务器然后去请求：

handler = urllib.request.ProxyHandler({'http':'代理IP:port'})

# 创建opener对象，后续使用opener.open()去发送网络请求即可

opener = urllib.request.build_opener(handler)

后续使用opener.open()去发送网络请求即可

11.XML是EXtensible Markup Lauguage可扩展标记语言的缩写。其设计宗旨就是来传输数据，而非显示数据，格式很类似HTML。不同的是，XML的标签没有被预定义，需要使用者自行定义，HTML不可以自定义标签。目前被用来传输数据的另一种主流格式json.

12.xpath用于在XML中通过路径表达式选取节点的语言。

安装xpath模块：pip3 install lxml

导入模块：from lxml import etree

13.xpath中，有7种类型的节点：元素、属性、文本、命名空间、处理指令、注释、文档(根)节点。爬虫中，常用的有3个：元素、属性、文本。

14.常用的路径表达式：

/表示从根节点选取；

//表示从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置；

.表示选取当前节点；

./表示从当前位置开始向下查找子节点；

..表示选取当前节点的父节点；

@表示按属性选取；

nodename表示选取此节点名的所有子节点；

15.contains(attributeName, str)用来获取属性名中包含有指定字符串的节点；

start-with(attributeName, str)用来获取属性名中以指定字符串开头的节点；

16.获取文本：找到对应的节点后，只需要在后面加上/text()即表示获取文本；

17.获取属性值：找到对应的节点后，只需要在后面加上/属性名即表示获取属性值；例如：/href、/class、/id

18.xpath使用方式：将HTML文档变成一个对象，然后调用对象的方法去查找指定的节点。

一.本地文件

tree = etree.parse(文件名)

二.网络文件

tree = etree.HTML(网址字符串)

mat = tree.xpath("路径表达式")

注意：这里找到的匹配结果mat总是一个list。