数据采集技术之python网络爬虫（中国天气网的爬取）

一、爬取中国天气网所有地区当天的天气数据（PyCharm）：

网址：https://www.weather.com.cn/

下面爬取数据：

因为现在已经到了夜间，所以白天的数据已经不见了，但原理是一样的。

二、代码以及详情解释：

 具体的代码的url以及headers是要从检查里面找的：

 

以及这些元素代码的寻找：

这个代码是一个用于从中国天气网（weather.com.cn）抓取天气信息的Python脚本。它使用了 requests 库发送HTTP请求，并使用 BeautifulSoup 库解析HTML内容。以下是代码的主要功能和相关知识点的罗列：

---

代码功能概述

1. 遍历多个地区：代码通过遍历一个地区列表（area），构造不同的URL来获取不同地区的天气信息。

2. 发送HTTP请求：使用 requests.get() 发送HTTP请求，获取网页的HTML内容。

3. 解析HTML：使用 BeautifulSoup 解析HTML内容，提取所需的天气信息。

4. 提取天气信息：从HTML中提取城市名称、上午天气、上午风力风向、上午最高温度、晚上天气、晚上风力风向、晚上最低温度等信息。

5. 去重处理：使用集合 processed_cities 来避免重复处理同一个城市的天气信息。

6. 打印结果：将提取的天气信息格式化输出到控制台。

---

涉及的知识点

1. Python基础

• 列表与循环：

  • 使用列表 area 存储地区代码。

  • 使用 for 循环遍历列表中的每个地