欢迎访问我的独立网站:编程小屋
以前就很喜欢爬虫,一段代码可以去搜集网络上的资源,总觉得是很厉害的事情,因为专业的原因,自身比较熟练R语言,但是Python并不熟悉,所以便查找了网上关于R语言爬虫的文章,在此做一个总结。以便自己随时复习。
首先,提到R语言爬虫,不得不提到两大利器RCurl和XML包,通过这两个包会发现爬虫怎么那么容易 哈,本文不会讲原理乱七八糟的,而是最实用的的函数和方法,你只需要会R最基本的操作,就能阅读本文的内容。
首先安装这两个函数包并加载
install.packages("RCurl")
install.packages("XML")
library(RCurl)
library(XML)
本文将对半次元的网站http://bcy.net/coser/detail/48126/1026772进行萌妹子图片的爬取
首先,需要把网页爬下来,这一点就需要用到一个利器,getURL(url)函数,url便是你要爬去的网站的网址,直接百度复制就好了(如果你要爬多个网址,研究一下url写个循环就可以啦)
url<-"http://bcy.net/coser/detail/48126/1026772"
web<-getURL(url)
接下来要对爬取得网页进行处理,生成标准的HTML树形结构,方便利用XML里面的函数进行处理
doc<-htmlTreeParse(web,encoding="UTF-8", error=function(...){}, useInternalNodes = TRUE,trim=TRUE)
接下来就是最重点的部分了,节点定位,此时建议去你需要读取的网页,浏览器右键读取源代码,找到我们需要的资源所在的标签如下。
<div class="post__content js-content-img-wrap js-fullimg