爬虫神器xpath的用法（一）

最新推荐文章于 2024-11-04 19:42:14 发布

weixin_30702413

最新推荐文章于 2024-11-04 19:42:14 发布

阅读量76

点赞数

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/gide/p/5246664.html

版权

1、如果你没有安装lxml，请运行pip install lxml或者easy_install lxml安装，如果在安装过程中失败的话，

是因为lxml需要依赖某些库文件，具体可以问下度娘，这里不再赘述。

2、安装成功后，请看下面测试代码

//：定位根节点
/：往下层寻找
/text()：提取文本内容
/@xxx：提取属性内容

#encoding=utf-8
from lxml import etree
html = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>
    <div id="url">
        <a href="http://www.meilishuo.com">美丽说</a>
        <a href="http://www.meilishuo.com" title="美丽说流行款">美丽说只做正确流行款</a>
    </div>
</div>
</body>
</html>
'''
selector = etree.HTML(html)

#提取文本，获取根目录下div且id=content下面的ul且id=useful的文本内容
content = selector.xpath('//div[@id="content"]/ul[@id="useful"]/li/text()')
for each in content:
    print each

#提取属性 获取根目录下a标签且属性为href的内容，如果不指定则返回为list
link = selector.xpath('//a/@href')
print link

title = selector.xpath('//a/@title')
print title[0]