python3爬天气后报历史数据

本文介绍如何使用Python3从天气后报网站抓取国内地市的天气历史数据。通过观察URL规律,构建请求链接,利用urllib和http.cookiejar处理连接,配合BeautifulSoup解析网页,获取并整理数据,最终保存到文件。学习过程中,应用了enumerate、try/except进行流程控制。
摘要由CSDN通过智能技术生成

查询国内各地市的天气数据,天气后报网http://www.tianqihoubao.com/lishi是一个还凑合的选择,因为里面只有天气状况、气温、风力风向这三方面的数据,是一个不能更基本的天气数据了。

这里写图片描述

可以注意到每个数据页的url构造很有规律,基本上就是www.tianqihoubao.com/lishi/+地市拼音+/month/+六位月份+.html
由于数据量不大,这里的策略就是:

  1. www.tianqihoubao.com/lishi/页获取所有地市的拼音全拼
  2. 根据规律构造url,获取网页文本
  3. 解析文本,获取所需数据并整理格式化,保存到文件中
# -*- coding: utf-8 -*-

'''
爬天气后报历史数据http://www.tianqihoubao.com/lishi
'''

from bs4 import BeautifulSoup as bsp
import urllib,http.cookiejar,re,time


# 做好cookie管理工作
cookie=http.cookiejar.CookieJar() # 创建空CookieJar
cj=urllib.request.HTTPCookieProcessor(cookie) # 构造cookie
opener = urllib.request.build_opener(cj) # 根据cookie构造opener
# 伪造header
opener.addheaders = [('User-agent', 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 F
  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值