爬取中国天气

最新推荐文章于 2024-08-21 17:56:16 发布

henusyb

最新推荐文章于 2024-08-21 17:56:16 发布

阅读量662

点赞数

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/henusyb/article/details/89415590

版权

本文介绍了如何爬取中国天气网的数据，包括华北地区城市数据和全国所有城市数据，并进行了数据可视化展示。

摘要由CSDN通过智能技术生成

中国天气网爬取之华北城市数据爬取

import requests
from bs4 import BeautifulSoup

def parser_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'
    }
    response = requests.get(url,headers=headers)
    text = response.content.decode('utf-8')
    # return text
    soup = BeautifulSoup(text,'lxml')
    conMidtab = soup.find('div',attrs={"class":"conMidtab"})#获取某个标签下的某个属性
    tables = conMidtab.find_all('table')
    for table in tables:
        trs = table.find_all('tr')[2:]
        for tr in trs:
            tds = tr.find_all('td')
            city_td = tds[0]
            city = list(city_td.stripped_strings)[0]#获取值所有子孙节点文本的第一个
            temp_td = tds[-2]
            min_temp = list(temp_td.stripped_strings)[0]