Request模块和Xpath

requests模块

1、安装

1. Linux

sudo pip3 install requests

2. Windows

• 方法一
  进入cmd命令行 ：python3 -m pip install requests
• 方法二
  右键管理员进入cmd命令行 ：pip3 install requests

2、requests.get()

• 作用：向网站发起请求,并获取响应对象 res = requests.get(url,headers=headers,timeout = 10) # requests.post(url, headers=headers)
• 参数：
  1、url ：需要抓取的URL地址
  2、headers : 请求头
  3、timeout : 超时时间，超过时间会抛出异常
• 响应对象(res)属性
  1、encoding ：响应字符编码 res.encoding = ‘utf-8’
  2、text ：字符串 string
  3、content ：字节流 bytes
  4、status_code ：HTTP响应码 404, 200
  5、url ：实际数据的URL地址

xpath解析

1、定义

XPath即为XML路径语言，它是一种用来确定XML文档中某部分位置的语言，同样适用于HTML文档的检索

• 匹配多路径（或）
  xpath表达式1 | xpath表达式2 | xpath表达式3
• 常用函数
  1、contains() ：匹配属性值中包含某些字符串节点
  2、text() ：获取节点的文本内容

lxml解析库

1、安装-- 推荐去pycharm的setting里面安装lxml

sudo pip3 install lxml

• 使用流程
  1、导模块 from lxml import etree
  2、创建解析对象 parse_html = etree.HTML(html)
  3、解析对象调用xpath r_list = parse_html.xpath(‘xpath表达式’)

• xpath最常使用方法
  1、先匹配节点对象列表
  2、遍历每个节点对象,利用节点对象继续调用