requests模块
1、安装
- Linux
sudo pip3 install requests
- Windows
- 方法一
进入cmd命令行 :python3 -m pip install requests
- 方法二
右键管理员进入cmd命令行 :pip3 install requests
2、requests.get()
- 作用:向网站发起请求,并获取响应对象 res = requests.get(url,headers=headers,timeout = 10) # requests.post(url, headers=headers)
- 参数:
1、url :需要抓取的URL地址
2、headers : 请求头
3、timeout : 超时时间,超过时间会抛出异常 - 响应对象(res)属性
1、encoding :响应字符编码 res.encoding = ‘utf-8’
2、text :字符串 string
3、content :字节流 bytes
4、status_code :HTTP响应码 404, 200
5、url :实际数据的URL地址
xpath解析
1、定义
XPath即为XML路径语言,它是一种用来确定XML文档中某部分位置的语言,同样适用于HTML文档的检索
- 匹配多路径(或)
xpath表达式1 | xpath表达式2 | xpath表达式3 - 常用函数
1、contains() :匹配属性值中包含某些字符串节点
2、text() :获取节点的文本内容
lxml解析库
1、安装-- 推荐去pycharm的setting里面安装lxml
sudo pip3 install lxml
-
使用流程
1、导模块 from lxml import etree
2、创建解析对象 parse_html = etree.HTML(html)
3、解析对象调用xpath r_list = parse_html.xpath(‘xpath表达式’) -
xpath最常使用方法
1、先匹配节点对象列表
2、遍历每个节点对象,利用节点对象继续调用