python开发网络爬虫时使用到的解析库lxml

最新推荐文章于 2024-07-31 09:03:16 发布

聚焦IT

最新推荐文章于 2024-07-31 09:03:16 发布

阅读量167

点赞数

分类专栏：爬虫系列课程文章标签： python

本文链接：https://blog.csdn.net/weixin_42548948/article/details/106243082

版权

爬虫系列课程专栏收录该内容

4 篇文章 0 订阅

订阅专栏

python开发网络爬虫时使用到的解析库lxml

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/

1、python库lxml的安装

windows系统下的安装：
#pip安装 pip3 install lxml

#wheel安装
#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装：

yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

pip3 install lxml

验证安装：$python3

XPath常用规则：

1.获取节点
获取接待一般有三种获取方式，获取所有节点，获取子节点

from lxml import html
etree=html.etree               #创建etree模块
htmldata=etree.HTML(r.text)     #指定解析器文档和HTML解析器
result=html.xpath('/html')    #获取文档的子节点  html
result=html.xpath('/html/body/ul/li')    #获取文档的子节点  html

result=html.xpath('//li')   #获取该节点下所有子孙节点的li节点

#获取子节点

result=html.xpath('//li/a')  #或者节点下的li下的a节点

2.属性

属性里分两种，一是获取节点的属性，二是在查找结点时候，根据结点的属性信息进行匹配

result=html.xpath('//li/a/@href')  #获取a的href属性
result=html.xpath('//li//@href')   #获取所有li下所有子孙节点的href属性
#根据属性信息获取特定节点
result=html.xpath('//li[@class="item-1"]')#匹配所有带有class=item-1属性的li节点
#某个属性有多个值，使用contains来匹配
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')
#需要根据多个属性确定一个节点时
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')

3.文本

result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下文本的内容
result1=html.xpath('//li[@class="item-1"]//text()') #获取li下所有子孙节点的文

本的内容

from lxml import html
etree=html.etree
wb_data = """
<html><body><div>
            <ul>
                 <li class="item-0"><a href="link1.html">first item</a></li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-inactive"><a href="link3.html">third item</a></li>
                 <li class="item-1"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a>
             </li></ul>
         </div>
        </body></html>
        """

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a')
html_data = html.xpath('/html/body/div/ul/li/a/text()')
html_data = html.xpath('/html/body/div/ul/li/a/@href')
html_data = html.xpath('/html/body/div/ul/li/a[@href="link2.html"]/text()')
html_data = html.xpath('//li/a/text()')
html_data = html.xpath('//li/a//@href')
html_data = html.xpath("//p[@class = 'p']|//p[@class='e']")
html_data = html.xpath('//div[@class = "nice"]/p')
html_data = html.xpath('//li/a[@href="link2.html"]')
html_data = html.xpath('//li[last()]/a/text()')
html_data = html.xpath('//li[last()-1]/a/text()')
print(html_data)
for i in html_data:
   print(i)

案例：

r=requests.get("https://www.ctrip.com/?sid=155952&allianceid=4897&ouid=index")
r.encoding=r.apparent_encoding
print(r.text)

etree=html.etree
htmldata=etree.HTML(r.text)
list=htmldata.xpath("//div[@class='base_nav']//a/text()")
print(list)