利用xpath爬取糗事百科视频

利用xpath爬取糗事百科视频

Xpath解析库介绍:

数据解析的过程中使用过正则表达式, 但正则表达式想要进准匹配难度较高, 一旦正则表达式书写错误, 匹配的数据也会出错.
网页由三部分组成: HTML, Css, JavaScript, HTML页面标签存在层级关系, 即DOM树, 在获取目标数据时可以根据网页层次关系定位标签, 在获取标签的文本或属性.

xpath安装, 初体验 --> 使用步骤:

1.xpath安装: pip install lxml
2.from lxml import etree导包

xpath语法:

• 1.常用规则:

  • nodename: 节点名定位
  • //: 从当前节点选取子孙节点
  • /: 从当前节点选取直接子节点
  • nodename[@attribute="…"] 根据属性定位标签
  • @attributename: 获取属性
  • text(): 获取文本

• 2.属性匹配两种情况: 多属性匹配 & 单属性多值匹配

  多属性匹配
  示例: tree.xpath(’//div[@class=“item” and @name=“test”]/text()’)
  单属性多值匹配
  示例: tree.xpath(’//div[contains(@class, “dc”)]/text()’)

• 3.按序选择:

  索引定位: 从1开始
  last()函数
  position()函数

代码实现

准备：

代码：

import requests
from lxml import etree

base_url = 'https://www.qiushibaike.com/video/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

res = requests.get(url=base_url, headers=headers)

# html content
html = res.content.decode('utf-8')

# xpath解析
tree = etree.HTML(html)

# 标题
content = tree.xpath('//*/a/div[@class="content"]/span/text()')

# 视频
video_list = tree.xpath('//*/video[@controls="controls"]/source/@src')
index = 0
for v in video_list:
    # 获取视频二进制流
    video_content = requests.get(url='https:'+v, headers=headers).content
    # 标题
    title_1 = content[index].strip('\n')
    # 将视频二进制流写入文件
    with open(f'video/{title_1}.mp4', 'wb') as f:
        f.write(video_content)
    index += 1