用R语言抓取历史天气数据
中国城市历史数据网保存有从2011年1月1日起的历史数据,包括天气、高低温以及风向和风力,对于需要分析气象数据又苦于无法得到数据的研究人员,爬取数据不失为一个办法中的办法。但是网上爬取数据的又多为Python,用R语言的较少,可能和R的爬取能力较弱有关吧。但是对于习惯了R的人,还是需要一个用R编写的爬虫踏实些。。。下面就为大家送上相应的R代码。
需要爬取的网页是这样的::
http://www.tianqihoubao.com/lishi/kangding/month/201707.html
从网页源代码可以看到每日天气数据是储存在"<td>"节点上的,而且每日之间间隔4个节点。
做好以上分析后,就可以爬取相应的数据,清洗后装载到一个数据框中,最后保存到csv文件中,完成数据爬取。
以下是相应的R程序。可以修改成自己需要爬取的城市、时间段以及保存的文件名。
#加载网页抓取程序包与数据清理程序包,报错需要安装相应的程序包
library(rvest)
library(plyr)
library(stringr)
#设定装载天气数据的数据包
tdata=data.frame()
#设定抓取的城市,这里设定为四川省康定市
city <-