Python网络爬虫案例实战：解析网页：Ixml解析网页

andyyah晓波

于 2024-08-13 14:27:10 发布

阅读量811

点赞数 4

分类专栏： Python网络爬虫案例实战文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/andyyah/article/details/141162032

版权

Python网络爬虫案例实战专栏收录该内容

31 篇文章 0 订阅

订阅专栏

Python网络爬虫案例实战：解析网页：Ixml解析网页

lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据。1xml和正则表达式一样，也是用C实现的，是一款高性能的Python HTML/XML解析器，可以利用之前学习的XPath语法，来快速定位特定元素以及节点信息。
安装lxml也非常简单，直接使用pip安装，代码为：

pip install lxml

5.5.1使用lxml

使用lxml爬取网页源代码数据也有3种方法，即XPath选择器、CSS 选择器和Beautiful Soup的find（）方法。与利用 Beautiful Soup 相比，lxml还多了一种XPath选择器方法。
下面利用1xml来解析HTML 代码：

from lxml import etree

# 定义修正后的 HTML 字符串
html = '''
<html>
<head>
<meta name="content-type" content="text/html; charset=utf-8"/>
<title>友情链接查询一站长工具</title>
<!--uRj0Ak8VLEPhjWhg3m9z4EjXJwc-->
<meta name="Keywords" content="友情链接查询"/>
<meta name="Description" content="友情链接查询"/>
</head>
<body>
<h1 class="heading">Top News</h1>
<p style="font-size:200%">World News only on this page</p>
Ah, and here's some more text, by the way.
<p>... and this is a parsed fragment...</p>
<a href="http://www.cydf.org.cn/" rel="nofollow" target="_blank">青少年发展基金会</a>
<a href="http://www.4399.com/flash/32979.htm" target="_blank">洛克王国</a>
<a href="http://www.4399.com/flash/35538.htm" target="_blank">奥拉星</a>
<a href="http://game.3533.com/game/" target="_blank">手机游戏</a>
<a href="http://game.3533.com/tupian/" target="_blank">手机壁纸</a>
<a href="http://www.4399.com/" target="_blank">4399 小游戏</a>
<a href="http://www.91wan.com/" target="_blank">91wan 游戏</a>
</body>
</html>
'''

# 解析 HTML 内容
page = etree.HTML(html)

# 使用 XPath 查找所有 <a> 元素
hrefs = page.xpath("//a")

# 打印每个 <a> 元素的属性
for href in hrefs:
    print(href.attrib)

输出：

{'href': 'http://www.cydf.org.cn/', 'rel': 'nofollow', 'target': '_blank'}
{'href': 'http://www.4399.com/flash/32979.htm', 'target': '_blank'}
{'href': 'http://www.4399.com/flash/35538.htm', 'target': '_blank'}
{'href': 'http://game.3533.com/game/', 'target': '_blank'}
{'href': 'http://game.3533.com/tupian/', 'target': '_blank'}
{'href': 'http://www.4399.com/', 'target': '_blank'}
{'href': 'http://www.91wan.com/', 'target': '_blank'}

提示：lxml可以自动修正HTML 代码。

5.5.2文件读取

除了直接读取字符串，lxml还支持从文件中读取内容。新建一个hello.HTML文件：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document Title</title>
</head>
<body>
    <div>
        <ul>
            <li class="item-0"><a href="link1.html">first item</a></li>
            <li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
            <li class="item-1"><a href="link4.html">fourth item</a></li>
            <li class="item-0"><a href="link5.html">fifth item</a></li>
        </ul>
    </div>
</body>
</html>

读取HTML文件中的代码为：

from lxml import etree

# 读取外部文件 hello.html
html = etree.parse('./hello.html', etree.HTMLParser())  # 使用HTML解析器来解析HTML文件
result = etree.tostring(html, pretty_print=True, encoding='utf-8').decode('utf-8')  # 指定编码为utf-8并解码为字符串
print(result)

运行程序，输出如下：

<!DOCTYPE html>
<html lang="en">&#13;
<head>&#13;
    <meta charset="UTF-8"/>&#13;
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>&#13;
    <title>Document Title</title>&#13;
</head>&#13;
<body>&#13;
    <div>&#13;
        <ul>&#13;
            <li class="item-0"><a href="link1.html">first item</a></li>&#13;  
            <li class="item-1"><a href="link2.html">second item</a></li>&#13; 
            <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>&#13;
            <li class="item-1"><a href="link4.html">fourth item</a></li>&#13; 
            <li class="item-0"><a href="link5.html">fifth item</a></li>&#13;  
        </ul>&#13;
    </div>&#13;
</body>&#13;
</html>

5.5.3XPath 使用

XPath是一门在XML 文档中查找信息的语言。XPath使用路径表达式来选取XML文档中的节点或节点数，也可以用在HTML获取数据中。
XPath使用路径表达式可以在网页源代码中选取节点，它是沿着路径来选取的，如表5-3所示。
在这里插入图片描述
表5-4列出了XPath的一些路径表达式及结果。

下面代码为XPath实例测试：

#使用 lxml 的 etree 库
from lxml import etree
text = '''
<div>
    <ul class = 'page'>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
'''
#利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text)
#获取所有的<li>标签
result = html.xpath('//li')
# 获取<li> 标签的所有 class属性
result = html.xpath('//li/@class')
#获取<li>标签下hre 为 link1.html 的 <a> 标签，/用于获取直接子节点，//用于获取子孙节点
result = html.xpath('//li/a[@href="link1.html"]')
#获取<li> 的父节点使用..:获取li标签的父节点，然后获取父节点的class属性。
result = html.xpath('//li/../@class')
# 获取 <li> 标签下的<a>标签里的所有 class
result = html.xpath('//li/a//@class')
#获取最后一个 <li> 的 <a> 的 属性href
result = html.xpath('//li[last()]/a/@href')
# 获取倒数第二个元素的内容
result = html.xpath('//li[last()-1]/a/text()')
# 获取 class 值为 item-inactive的标签名
result = html.xpath('//*[@class="item-inactive"]')
print(result)

输出：

[<Element li at 0x2861a29d948>]

在这里插入图片描述
如果你面对的是复杂的网页代码，那么正则表达式的书写可能花费较长时间，这时选择BeautifulSoup 和lxml比较简单。由于 BeautifulSoup 已经支持lxml解析，因此速度和lxml 差不多，使用者可以根据熟悉程度进行选择。因为学习新的方法也需要时间，所以熟悉XPath的读者可以选择1xml。假如是初学者，就需要快速掌握提取网页中的数据，推荐使用 BeautifulSoup 的find（）方法。

5.5.4爬取LOL百度贴吧图片

下面一个实例演示lxml解析网页：爬取LOL百度贴吧的图片，实现代码为：

from lxml import etree
from urllib import request,error,parse
class Spider:
  def __init__(self):
	  self.tiebaName = 'lol'
	  self.beginPage = int(input('请输入开始页:'))
	  self.endPage = int(input('请输入结束页:'))
	  self.url = 'http://tieba.baidu.com/f'
	  self.header = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}
	  self.userName = 1  ## 图片编号

  def tiebaSpider(self):
	  for page in range(self.beginPage, self.endPage + 1):
		  pn = (page - 1) * 50
		  data = {'pn':pn, 'kw':self.tiebaName}
		  myUrl = self.url + '?' + parse.urlencode(data)
		  # 调用 页面处理函数 load_Page,获取页面所有帖子链接,
		  links = self.loadPage(myUrl)
  
  # 读取页面内容
  def loadPage(self,url):
	  req = request.Request(url, headers=self.header)
	  resp = request.urlopen(req).read()
	  # 将resp解析为html文档
	  html = etree.HTML(resp)
	  # 抓取当前页面的所有帖子的url的后半部分，也就是帖子编号
	  url_list = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
	  # url_list 类型为 etreeElementString 列表
	  # 遍历列表，并且合并成一个帖子地址，调用 图片处理函数 loadImage
	  for row in url_list:
		  row = "http://tieba.baidu.com" + row
		  self.loadImages(row)

  # 下载图片
  def loadImages(self, url):
	  req = request.Request(url, headers=self.header)
	  resp = request.urlopen(req).read()
	  # 将resp解析为html文档
	  html = etree.HTML(resp)
	  # 获取这个帖子里所有图片的src路径
	  image_urls = html.xpath('//img[@class="BDE_Image"]/@src')
	  # 依次取出图片路径，下载保存
	  for image in image_urls :
		  self.writeImages(image)
		  # 保存页面内容

  def writeImages(self, url):
	  '''
	  将 images 里的二进制内容存入到 userNname 文件中
	  '''
	  print(url)
	  print("正在存储文件 %d ..." % self.userName)
	  # 1. 打开文件，返回一个文件对象
	  path = r'D:\example' +  '\\' + str(self.userName) + '.png'  #example为自己新建存放获取图像的文件夹
	  file = open(path, 'wb')
	  # 获取图片里的内容
	  images = request.urlopen(url).read()
	  # 调用文件对象write() 方法，将page_html的内容写入到文件里
	  file.write(images)
	  file.close()
	  # 计数器自增1
	  self.userName += 1 

#模拟 main 函数
if __name__ == "__main__":
	# 首先创建爬虫对象
	mySpider = Spider()
	# 调用爬虫对象的方法，开始工作
	mySpider.tiebaSpider()

运行程序，即可将LOL网页中的图片下载到新建的example文件夹中，共下载261张图片，如图 5-3所示，输出如下：

请输入开始页:1
请输入结束页:1
http://tiebapic.baidu.com/forum/w%3D580/sign=793baa11e78b87d65042ab1737082860/52a90cfa513d269793c9107d13fbb2fb4316d8ba.jpg?tbpicau=2024-08-24-05_6fc4e569c1a28a1c3d3877bdc0739916
正在存储文件 1 ...
http://tiebapic.baidu.com/forum/w%3D580/sign=ce877b49632dd42a5f0901a3333a5b2f/5301a9345982b2b7c90f17e477adcbef77099bc7.jpg?tbpicau=2024-08-24-05_0604965ab22ef549e1193ff6cdde9994
正在存储文件 2 ...
http://tiebapic.baidu.com/forum/w%3D580/sign=51fa2a186e381f309e198da199004c67/cf2851fbb2fb4316a2f7625a66a4462308f7d3e8.jpg?tbpicau=2024-08-24-05_15f9264c3bbc7e48d06f389d4decafb2
正在存储文件 3 ...
http://tiebapic.baidu.com/for