lxml模块etree使用xpath

最新推荐文章于 2022-05-15 22:09:55 发布

weixin_44815030

最新推荐文章于 2022-05-15 22:09:55 发布

阅读量526

点赞数 1

分类专栏：爬虫代码

本文链接：https://blog.csdn.net/weixin_44815030/article/details/97968169

版权

本文主要介绍了Python中lxml模块的etree组件如何使用XPath进行XML数据的选取和处理，通过实例详细讲解了XPath的基本用法，并提供了相关资源链接以供深入学习。

摘要由CSDN通过智能技术生成

导入

import requests
from lxml import etree

具体使用

import requests
from lxml import etree
import os,time
def mz_spider(base_url,headers):
    res=requests.get(base_url,headers)
    html=etree.HTML(res.text)

    img_src=html.xpath('//div[@class="TypeList"]/ul/li/a/@href')
    for img_url in img_src:
        # print(img_url)
        img_parse(img_url)

def img_parse(img_url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)',
        'Referer': 'http://www.umei.cc/tags/qingchun_1.htm'
    }
    res=requests.get(img_url,headers)
    res.encoding=res.apparent_encoding
    html=etree.HTML(res.text)
    #获取标题
    title=html.xpath("//div[@class='Ar