基于R+Oracle的海洋浮标数据显示系统（二）——网络爬虫程序和自动导入

  这两天一直在改老师的项目所以没有更新，今天更新一下博客，讲一下怎样利用R语言自动从网上获取表格形式存储的数据并且存储为.csv文件。

一、获取数据

  R语言得益于其开源，所以就有很多大牛们以开发R包为乐趣，结果就是你想要什么样的功能就可以直接搜到相关的R包（想编个程序控制挖掘机炒菜的请自行解决），今天就讲一下怎样利用XML包来获取网上的数据。当然还有很多跟高端的包，比如说RCurl、RVEST等。

  首先需要安装和加载XML包，之后就可以直接获取网络数据，就跟读取本地文件是一样一样的。

 library（XML）

 webpage <-paste("http://www.ndbc.noaa.gov/data/5day2/",No[i],"_5day.txt",sep = "")# the address of the webpage
 tables <- read.table(webpage,stringsAsFactors = FALSE)  #read the data

  将你想要获取的数据的网址赋值给一个变量方便使用，直接读取table后数据就会存放到tables（自行指定）里面，接下来就是将数据写到.CSV文件里面，如果要指定位置的话请指定存储路径或者利用setwd()函数对工作空间进行指定。

write.csv(tables,paste("",No[i],".csv",sep = ""))  #export the data to a file(.csv)

我这里是获取的好几个文件，所以用paste构建字符串。

总的程序代码：

library(XML)
Sys.setlocale(category = "LC_ALL", locale = "us")
No <- c("32ST0","41NT0","51WH0")
for(i in 1:3)
{
  webpage <-paste("http://www.ndbc.noaa.gov/data/5day2/",No[i],"_5day.txt",sep = "")# the address of the webpage
  tables <- read.table(webpage,stringsAsFactors = FALSE)  #read the data
  names(tables) <- c("YEAR","MONTH","DAY","HOUR","MINUTE","WDIR",
                    "WSPD","GST","WVHT","DPD","APD","MWD","PERS","PTDY",
                    "ATMP","WTMP","DEWP","VIS","TIDE")#assign the names of the data

  write.csv(tables,paste("",No[i],".csv",sep = ""))  #export the data to a file(.csv)
}
注：第二句话是设定本地参数的，没有貌似会出问题。

二、手动导入Oracle

  在数据库中新建几张数据表，然后将.CSV格式的文件导入进数据库，在导入的时候请选择按照名称（.CSV文件中字段名称和数据库字段名称一致）导入或者按照位置导入，数据导入成功之后就可以进行下一步操作了，具体数据表的创建请自行百度。

  PS：直接copy程序可能存在中英文输入法的问题，如语句不能正确执行，请考虑输入法问题。