xpath-爬取

vivotest

已于 2023-03-29 00:19:15 修改

阅读量33

点赞数

文章标签： html 前端 javascript

于 2023-03-28 00:08:49 首次发布

本文链接：https://blog.csdn.net/qq_45152344/article/details/129807040

版权

该代码示例展示了如何利用Python的requests库获取网页内容，并结合lxml库中的etree模块解析HTML，通过XPath表达式提取特定标签的数据，包括电影名称、图片URL、国家、上映时间和类型评分等信息。

摘要由CSDN通过智能技术生成

import requests
from lxml import etree
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url="httxxxxxxxxxxxxxxxx/page/1"
res=requests.get(url,headers=headers)
html=res.text
htmm=etree.HTML(html) #etree.HTML()只能解析字符串
litem=htmm.xpath('.//div[@class="el-card item m-t is-hover-shadow"]') #所有内容都在这个表里里面，且有n多个这样的标签
for aa in litem:
    name=aa.xpath('.//h2[@class="m-b-sm"]/text()')[0] #【0】放到括号外面是去掉列表，/text()是转换成字符串，是在xpath()里面
    url=aa.xpath('.//img/@src')[0].replace('@464w_644h_1e_1c','')#提取属性值@后面直接跟属性名，不要加前名加上单/
    country=aa.xpath('.//div[@class="m-v-sm info"]//span[1]/text()')[0]
    dingyintime=aa.xpath('.//div[@class="m-v-sm info"]//span[3]/text()')[0] #电影时间在class="m-v-sm info下的第三个span标签里面
    leixing=aa.xpath('.//button[@class="el-button category el-button--primary el-button--mini"]//span[1]/text()')[0]
    score=aa.xpath('.//p[@class="score m-t-md m-b-n-sm"]/text()')[0].strip()  #在最后加上.strip()去掉空格
    print(name,'\n',url,'\n',country,'\n',dingyintime,'\n',leixing,'\n',score)
    print("--------------------------------------------------------------------------------------------------------")