R语言爬虫-RCurl和XML学习笔记

       

欢迎访问我的独立网站：编程小屋

以前就很喜欢爬虫，一段代码可以去搜集网络上的资源，总觉得是很厉害的事情，因为专业的原因，自身比较熟练R语言，但是Python并不熟悉，所以便查找了网上关于R语言爬虫的文章，在此做一个总结。以便自己随时复习。

      首先，提到R语言爬虫，不得不提到两大利器RCurl和XML包，通过这两个包会发现爬虫怎么那么容易 哈，本文不会讲原理乱七八糟的，而是最实用的的函数和方法，你只需要会R最基本的操作，就能阅读本文的内容。

      首先安装这两个函数包并加载

     

install.packages("RCurl")
install.packages("XML")
library(RCurl)
library(XML)

 

 

 

      

      本文将对半次元的网站http://bcy.net/coser/detail/48126/1026772进行萌妹子图片的爬取

      首先，需要把网页爬下来，这一点就需要用到一个利器，getURL(url)函数，url便是你要爬去的网站的网址，直接百度复制就好了（如果你要爬多个网址，研究一下url写个循环就可以啦）

url<-"http://bcy.net/coser/detail/48126/1026772"
web<-getURL(url)

 

     接下来要对爬取得网页进行处理，生成标准的HTML树形结构，方便利用XML里面的函数进行处理

 

doc<-htmlTreeParse(web,encoding="UTF-8", error=function(...){}, useInternalNodes = TRUE,trim=TRUE)

 

     接下来就是最重点的部分了，节点定位，此时建议去你需要读取的网页，浏览器右键读取源代码，找到我们需要的资源所在的标签如下。

 

<div class="post__content js-content-img-wrap js-fullimg