R语言某一年各省各月份天气数据爬取

因为项目需要,在此,本人用R语言对某一年各省的省会各月份天气数据进行爬取。想爬取其他城市的数据也是大同小异。

本次爬取的天气数据包括”日期”,”天气状况”,”气温”,”风力风向”四个指标:


代码:

>>> rm(list=ls(all=TRUE))
>>> gc()
>>> library(rvest)
>>> library(readxl)
>>> pro_capital <- read_excel("省份及省会.xlsx")
>>> MON <- c('01','02','03','04','05','06','07','08','09','10','11','12')
>>> for(i in 1:34){
  data0 <- data.frame(t(rep(NA,4)))[-1,]
  names(data0) <- c("日期","天气状况","气温","风力风向")
  for(j in 1:12){
    url=paste0("http://www.tianqihoubao.com/lishi/",
               pro_capital[i,2],"/month/2016",MON[j],".html")
    webpage <- read_html(url,encoding = 'GBK')
    data <- html_table(webpage)
    data <- data.frame(data)
    names(data) <- data[1,]
    data <- data[-1,]
    for (k in 2:4){
      data[,k] <- gsub("\r\n","",data[,k])
      data[,k] <- gsub(" ","",data[,k])
    }
    data0=rbind(data0,data)
  }
  write.csv(data0,paste0('D:\\working directory\\天气数据\\',
                        pro_capital[i,1],'.csv'))
}
>>> 

爬取结果如下:

这里写图片描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012111465/article/details/76064223
个人分类: R 爬虫
上一篇R语言筛选出不重复的行的几种方法
下一篇R语言对爬取的天气数据进行整理
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭