xpath string()标签下所有文本

最新推荐文章于 2024-08-29 04:21:16 发布

Febe_Tien

最新推荐文章于 2024-08-29 04:21:16 发布

阅读量4k

点赞数

分类专栏：爬虫文章标签： xpath

本文链接：https://blog.csdn.net/Febe_Tien/article/details/81703956

版权

爬虫专栏收录该内容

3 篇文章 0 订阅

订阅专栏

<dd class="info">
    <a href="//sdsgjx.b2b.hc360.com/shop/show.html">
        主营产品：小型
        <font>挖掘机</font>
        履带
        <font>挖掘机</font>
        轮式
        <font>挖掘机</font>
        <font>挖掘机</font>
        二手
        <font>挖掘机</font>
        微型
        <font>挖掘机</font>
        轮胎式
        <font>挖掘机</font>
        挖土机 最小型
        <font>挖掘机</font>
        挖机 ...
    </a>
</dd>

要把 a 标签下的所有文本提取出来，并放入同一个字符串中，可以使用xpath的string()方法，如下：

>>>url = "https://s.hc360.com/?w=魔术玩具&mc=enterprise&af=3"
>>>import requests
>>>headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36"}
>>>resp = requests.get(url, headers=headers)
>>>from lxml import etree
>>>tree = etree.HTML(resp.content.decode("GBK"))
>>>divs = tree.xpath('//div[@class="contbox"]/dl')
>>>divs[5].xpath('string(dd[@class="info"]/a)')
' 主营产品：小型挖掘机 履带挖掘机 轮式挖掘机 挖掘机 二手挖掘机 微型挖掘机 轮胎式挖掘机 挖土机 最小型挖掘机 挖机 ...'