【爬虫基础】第14讲 谷歌浏览器Xpath插件在爬虫中的使用

Xpath安装方法

xpath的下载地址：

XPath Helper_2.0.2_Chrome插件下载_极简插件 (zzzmh.cn)

我的谷歌版本是78 不是最新版本

安装方法

谷歌-设置-扩展程序，把解压后的插件添加进来即可，拖拽时记得先开启开发者模式

 

安装成功：

Xpath使用方法

 先开启F12查看要爬取的标题是否有共同点

 然后写QUERY筛选结果

 实战案例：

1.使用xpath插件获取xpath值

代码实现

from fake_useragent import UserAgent
import requests
from lxml import etree
from time import sleep

for i in range(1,6):
    print(f'======正在获取第{i}页数据======')
    url = f'https://www.hupu.com/?pageNo={i}&pageSize=50'
    headers ={
        'User-Agent':UserAgent().chrome
    }
    resp = requests.get(url,headers=headers)

    # 构造etree对象
    e = etree.HTML(resp.text)
    names = e.xpath('//div[@class="item-title-conent"]')
    # names = e.xpath('//div[contains(@class,"rank-modules-works--main-item-title ellipsis-two-lines global-hover")]/span')
    for name in names:
        print(name.text)
    sleep(1)