用Python来分析中国哪个城市最热

现如今，我大天朝举国上下都处于一种高温的状态。那么这里我们也来蹭一蹭热度，来写个小爬虫，看看全国哪个城市最热。东西虽然小，但是比起那些所谓“高大上”的教程来说，这篇文章比较脚踏实地，不玩虚的，你看完后一定可以学会的。

准备工作：

1.在做爬虫之前，首先对爬虫的解题路径做个简单概述。一个爬虫工作分为两步骤：
第一步：把你需要爬取的那个网页的数据全部拉下来。
第二步是把从网站上拉下来的数据进行过滤，把你需要的提取出来，把不需要的给过滤掉。这就是爬虫的工作原理。

2.我们要爬取的网站数据不是特别大，复杂度也不高。因此为降低大家学习爬虫的难度。我们不上那些很复杂的框架，比如Scrapy，而是直接使用一个简单又好用的第三方库帮我们完成爬虫任务，那就是requests库。requests库是一个专门用来从网站上拉取数据的库，也就对应了我们爬虫工作的第一步——从网站上拉取数据。这个库的使用，后面我们会讲到，如果您还没有安装这个库，那么可以通过以下命令进行安装：pip install requests。如果您使用的是Linux或者Mac OS系统，那么最好在前面加上一个sudo pip install requests，不然很容易会因为权限问题而安装失败。

3.在使用requests库把数据拉取下来以后，接下来的工作就是对这些数据进行分析和过滤了。这时候我们使用的一个第三方库是beautifulsoup4。这个库是专门用来解析网页数据的。并且为了使接下效率更高，一般我们推荐使用lxml来作为解析的引擎。因此，要使用beautifulsoup库，要通过以下命令来安装：

# 安装lxml
pip install lxml
# 安装beautifulsoup4
pip install bs4

中国天气网分析：

这里我们需要爬取的网站是：中国天气网http://www.weather.com.cn/textFC/hb.shtml#。我们做任何爬虫之前，都需要对这个网站进行详细的分析，一定要达到了如指掌的境地。不然后面很容易在数据过滤的时候会出现一个问题，这也是所有做爬虫需要注意的地方。我们这里就跟大家分析一下中国天气网的网站：

1.在以上这个中国天气网的页面中。我们可以看到，他是通过区域的方式把全国个大省份和城市进行区分的，有：华北、东北、华东、华中、华南、西北、西南、港澳台。在每个区域下面，都是通过表格的形式把属于该区域下的所有省份以及城市的天气信息列出来。因此我们要做的是，首先找到所有的区域的链接，然后再在每个区域的链接下把这个区域下的所有的城市天气信息爬出来就可以了。

2.我们已经知道只要拿到了所有的区域链接，就可以在这个链接的网页中把这些城市拿到。那么如何去拿到这个区域下对应的所有城市以及他们对应的天气信息呢？这时候就需要去解析源代码了，我们点击这个页面任何一个地方，然后右键点击审查元素，打开控制台后，去寻找规则（因为这个寻找规则比较繁琐，这里就做个简单概述，如果对如何去找到相应的元素感兴趣，可以关注本公众号，会有一套详细的视频教程免费教大家查找）。我们可以看到，一个省份的城市及其天气信息，都是放在一个叫做div class='conMidtab2’的盒子中。因此我们只要找到所有的conMidtab2盒子，就找到了所有的城市。但是这个地方需要注意的是，因为在一个页面中，展示了7天的数据，因此如果你按照class='conMidtab2’这个规则去寻找的话&#x