rvest爬取链家网数据

一、工具说明

• 火狐浏览器
• fireBug插件
• R软件
• revest包、stringr包

---

二、数据说明

想要获取链家网南京楼盘的信息，如：楼盘名称、地址、面积、是否在售、住宅性质、价格。最后在R里生成数据框

---

三、代码

Part1:加载包，rvest用于爬取数据、stringr处理字符串

# 加载包 ------------------------------------------
#加载rvest，没有则先安装后加载
tryCatch({
  library(rvest)
}, error = function(e) {
  print("No This Package")
},
finally = {
  install.packages("rvest")
  library(rvest)
})
library(stringr)

Part2:读取网页，求页数

想要获取该信息页数，如下图所示：

使用Firebug插件，很容易定位元素。
点击红框处图标，再点击黄框处10.自动定位元素位置，可以分析标签值等信息

# 读取网页，求页数 ----------------------------------------------------------------
url <- 'http://nj.fang.lianjia.com/loupan/'
web <- read_html(url)
#html_attr("page-data") 是从html_nodes('div.page-box')筛选出的标签中，查找page-data属性的值
page <-
  web %>% html_nodes('div.page-box') %>% html_attr("page-data")
page_num <- str_extract(page, '[0-9]+')#取出字符串里面的数字，+表示可以是多位的
page_num <- as.numeric(page_num)

---

Part3:循环读取每页上所需要的信息

# 循环读取每页上所需要的信息---------------------------
#所需列
name = area = price = type = address = status = NULL
for (i in 1:page_num) {
  #楼盘名称
  name <- c(name,
            web %>% html_nodes('div.info-panel') %>%
              html_nodes('a') %>% html_text())
  #地址
  address <- c(
    address,
    web %>% html_nodes('div.info-panel') %>%
      html_nodes('div.where') %>% html_nodes('span.region') %>%
      html_text()
  )
  #面积
  area_ass <-
    web %>% html_nodes('div.info-panel') %>% html_nodes('div.area')  %>% html_nodes('span') %>%
    html_text()

  area = c(area, str_extract(area_ass, '[0-9]+~[0-9]+|[0-9]+'))#找到形如11~12或者数字的字符串
  price_ass <-
    web %>% html_nodes('div.info-panel') %>% html_nodes('div.average')  %>% html_nodes('span') %>%
    html_text()

  price = c(price, as.numeric(price_ass))
  #房屋性质
  type <- c(
    type,
    web %>% html_nodes('div.info-panel') %>%
      html_nodes('div.type') %>% html_nodes('span.live') %>% html_text()
  )
  #是否在售
  status <- c(
    status,
    web %>% html_nodes('div.info-panel') %>%
      html_nodes('div.type') %>% html_nodes('span.onsold') %>% html_text()
  )
  house_data <-
    data.frame(
      name = name,
      area = area,
      price = price,
      type = type,
      address = address,
      status = status,
      stringsAsFactors = F
    ) 
}
# Ending############################ --------------------------------------

---

四、结果

---

五、Ref

[1] 链家网地址
[2] 快速定位元素：http://jingyan.baidu.com/article/19192ad81ab005e53e5707d6.html
[3] 《rvest + CSS Selector 网页数据抓取的最佳选择 》
[4] 语言爬虫初尝试-基于RVEST包学习
[5] 标签含义速查网站
[6] R语言学习：使用rvest包抓取网页数据