xpath定位到标签取不到数据_爬虫学习之xpath

最新推荐文章于 2024-07-01 16:23:54 发布

李印乾

最新推荐文章于 2024-07-01 16:23:54 发布

阅读量2.2k

点赞数 1

文章标签： xpath定位到标签取不到数据

本文链接：https://blog.csdn.net/weixin_32602775/article/details/113326124

版权

本文介绍了如何使用XPath解析HTML页面源码，讲解了XPath表达式的应用，通过实例展示了从网页抓取LI列表并保存为TXT文件的过程。重点是XPath的定位原理和使用方法。

摘要由CSDN通过智能技术生成

前面学习了使用requests获取页面源码，用Requests库获取网页并保存

今天一起学习如何解析源码？

xpath表达式：

是最常用最便捷高效的一种解析方式且，通用性强。

解析原理：1、实例化一个etree对象，且需要将被解析的页面源码数据加载到该etree对象中。2、调用etree对象中的xpath方法，结合xpath表达式实现标签定位和内容获取。

环境安装：pip install lxml

实例化etree对象：from lxml import etree

1、将本地html文档加载：etree.parse(filePath)2、将互联网获取的源码加载etree.HTML('page_text')3、xpath表达式

/：表示从根节点开始定位。表示一个层级。//:表示多个层级。可以表示从任意位置开始定位。属性定位：//div[@class='song']     tag[@attrName='atttrValue']索引定位：//div[@class='song']/p[3]    索引从1开始取文本：  /text()：获取的是标签中直系的文本内容 //text()：获取的非直系的文本内容(所有的文本内容)取属性： /@attrName     ==>img/src

程序源码(爬取指定页面，解析其中的LI列表，并保存为TXT文本文件)：

import requestsfrom lxml import etreeheaders = {         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',     }if __name__ == "__main__":    # 获取页面源码     url = 'https://weixin.qq.com/'     page_text = requests.get(url=url, headers=headers).text     # 数据解析     tree = etree.HTML(page_text)     li_list = tree.xpath('/html/body/div/div/div[2]/div[3]/ul/li')        #将li对象列表赋值给li_list变量     print(li_list)     fp = open('test.txt', 'w', encoding='utf-8')    # 循环遍历列表对象     for li in li_list:         title = li.xpath('./a/text()')[0]      # /text()：获取的是标签中直系的文本内容         print(title)         fp.write(title+'\n')   #写入文本文件，并添加换行符