R-web爬取一般步骤

R网页爬取步骤

library(XML)

#第一步：读取url并解析成R结构

url1=“http:。。。。"

url=htmlParse(url1,encoding="UTF-8")

#第二步：找网页节点

test<-getNodeSet(url,"//meta[@name]")

#第三步：读取节点内容

test_text_list<-sapply(test,xmlValue)

test_text<-xmlValue(test[[2]])

#第四步：读取节点属性

content1<-xmlGetAttr(test[[1]],"content")

content1<-iconv(content1,"UTF-8","gbk") #解决中文正常显示问题