R语言爬虫实践（下）：练习笔记1

##练习1：我爱我家二手房数据爬取
#加载所需的包
rm(list=ls())
library(xml2)
library(rvest)
library(dplyr)
library(stringr)

#对爬取页数进行设定并创建数据框
i<-1:10
house_inf<-data.frame()
#使用for循环进行批量数据爬取（发现url的规律，写for循环语句）

for (i in 1:10){
  web<- read_html(str_c("https://sh.5i5j.com/ershoufang/n",i),encoding="UTF-8")
  #单页面测试
  #web<- read_html(str_c("https://sh.5i5j.com/ershoufang/n"),encoding="UTF-8")
  #用SelectorGadget定位节点信息并爬取房名
  title<-web%>%html_nodes(".listTit a")%>%html_text()
  adress<-web%>%html_nodes(".listX a")%>%html_text()
  #获取户型、面积、朝向、楼层、装修等信息，学习正则表达式啊
  tem<-web%>%html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listX > p:nth-child(1)")%>%html_text()
  #爬取二手房基本信息并根据空格切词
  label<-web%>%html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listTag")%>%html_text()
  #label1<-web%>%html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listTag > span:nth-child(1)")%>%html_text()
  #label2<-web%>%html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listTag > span:nth-child(2)")%>%html_number()
  price<- web %>% html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listX > div > p.redC > strong")%>%html_text()
  unitprice <- web%>% html_nodes("body > div.pListBox.mar > div.lfBox.lf > div.list-con-box > ul > li > div.listCon > div.listX > div > p:nth-child(2)")%>%html_text()
  #创建数据框存储以上信息
  house<-data_frame(title,adress,tem,label,price,unitprice)
  house_inf<-rbind(house_inf,house)
}

#将数据写入csv文档
write.csv(house_inf,file="D:/5i5j5.csv")