用xpath解析爬取热门城市和全部城市的名称

最新推荐文章于 2024-10-01 05:04:32 发布

|Ψñ

最新推荐文章于 2024-10-01 05:04:32 发布

阅读量118

点赞数

分类专栏：爬虫文章标签： python html 开发语言 Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_41641028/article/details/129466650

版权

本文介绍了两种Python使用xpath解析HTML，获取热门和全部城市名称的方法。解析时需将HTML字符串转化为_lxml.etree._Element对象，利用xpath的管道符'|'来合并解析<a>标签内的信息。

摘要由CSDN通过智能技术生成

第一种写法：

"""http://www.aqistudy.cn/historydata/
- 爬取热门城市和全部城市的名称"""

import requests
from lxml import etree
url = 'http://www.aqistudy.cn/historydata/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'}
response = requests.get(url, headers=headers)
page_html = response.text
# print(page_html)
tree = etree.HTML(page_html)
# 解析热门城市
hot_li_list = tree.xpath('//div[@class="bottom"]//li')
print('————hot city name————')
for li in hot_li_list:
    hot_name = li.xpath('./a/text()')[0]
    print(hot_name)
# 解析所有城市
all_li_list = tree.xpath('//div[@class="bottom"]/ul/div[2]/li')
print("————all city name————")
for li in all_li_list:
    all_name