2011至2020年武汉历史天气数据采集与分析
本实验主要采用了Python中的beautifulsoup库、pandas库、requests库来爬取’http://lishi.tianqi.com/wuhan’内近十年武汉的天气。
实验环境:Python下的beautifulsoup库、pandas库、requests库
实验内容:2011年至2020年年武汉历史天气数据
实验目的:运用所学网络爬虫技术,爬取武汉近十年的历史天气(http://lishi.tianqi.com/wuhan)。
实验步骤:
① 导入requests库、beautifulsoup库和pandas 库。requests库用于处理HTTP请求的第三方库;bs4库用于解析和处理HTML和XML的第三方库;使用pandas 库存储非数值数据。
② 定义一个函数,利用循环导出2011年至2020年的武汉天气的相关网址。
③ 爬取数据,并进行整合处理。
实验代码:
import requests
from bs4 import BeautifulSoup
import pandas as pd
cookies = {‘cookies’:‘UM_distinctid=175583cf88