一、目标网站
https://www.aqistudy.cn/historydata/
二、分析要获取数据,热门城市、全部城市
![](https://i-blog.csdnimg.cn/blog_migrate/047801d6d09b964682d163893048cad3.png)
三、代码实现
1、获取网页源码
import requests
目标地址="https://www.aqistudy.cn/historydata/"
头={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
响应内容=requests.get(url=目标地址,headers=头).text
print(响应内容)
2、程序有个错误提示,这个提示需要在请求参数上多添加一个值,verify=False,或者将https变为http
![](https://i-blog.csdnimg.cn/blog_migrate/349b0b0fa7c5aa4f52aa9e5b0498b0fb.png)
响应内容=requests.get(url=目标地址,headers=头,verify=False).text
3、通过xpath解析出热门城市
解析数据=etree.HTML(响应内容)
热门城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[1]/div[2]/ul/li')
for i in 热门城市:
print(i.xpath("./a/text()")[0])
4、通过xpath解析出全部城市
解析数据=etree.HTML(响应内容)
全部城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[2]/div[2]/ul/div[2]/li')
for i in 全部城市:
print(i.xpath("./a/text()")[0])
5、第三步和第四步代码重复,可以通过管道符号“|”将两个表达分割,代码如下
解析数据=etree.HTML(响应内容)
城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[1]/div[2]/ul/li | /html/body/div[3]/div/div[1]/div[2]/div[2]/ul/div[2]/li')
for i in 城市:
print(i.xpath("./a/text()")[0])
6、运行结果
![](https://i-blog.csdnimg.cn/blog_migrate/d89ba5bd8a16429b868fd3c96164d8c3.jpeg)
仅供学习交流,勿作他用