爬虫实战之BeautifulSoup爬取中国天气网最低气温

• • 基本原理：
  • requests模块获取每一页的html文件
  • 主要利用BeautifulSoup进行提取
  • 需要注意：港澳台地区的html源码不规范，所以这里用到了html5lib解析器；其他地区省会与城市这里要进行区分
  • 代码如下：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2020/06/07 11:16:20
# @File    : 爬取中国天气网天气.py
# @Sortware: Vsc

import requests
from bs4 import BeautifulSoup

# 需求：爬取全国所有的城市名称以及对应的气温

# 1、先获取一个地区的html文件，http://www.weather.com.cn/textFC/hb.shtml
# 2、用BeautifulSoup提取城市名称以及对应的气温

# 定义一个函数来解析网页
def get_source(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    response = requests.get(url, headers=headers)
    # 解决乱码
    text = response.content.decode('utf-8')
    # html5lib，以浏览器的方式解析文档，将不规范的html文本转为规范的文本再进行解析
    soup = BeautifulSoup(text, 'html5lib')
    # 网页解析
    # 一、先查找 class="conMidtab"
    conMidtab = soup.find('div', class_="conMidtab")
    # 二、查找 table
    tables = conMidtab.find_all('table')
    for table in tables:
        # 三、查找 tr，需要通过切片过滤前两个
        trs = table.find_all('tr')[2:]
        # enumerate() 函数返回两个值，一个是下标，一个数下标对应的元素
        for index,tr in enumerate(trs):
            # 四、查找 td
            tds = tr.find_all('td')
            # 判断
            city_td = tds[0] # 城市
            # print(index, city_td)
            if index == 0:
                city_td = tds[1] # 省会
            # 获取一个标签下面所有的子孙节点的文本信息
            city = list(city_td.stripped_strings)[0]

            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            print('城市:',city, '最低气温:',temp)

def main():
    url_list = [
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/hz.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/xb.shtml',
        'http://www.weather.com.cn/textFC/xn.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml'
        ]
    for url in url_list:
        get_source(url)

if __name__ == '__main__':
    main()