c 爬虫解析html,Playground for Python - Html爬虫解析

环境安装

Mac系统默认安装了Python2，如果想安装Python3，执行以下命令：

brew install python3

brew link python3

这样就可以通过python访问python2版本，python3访问python3版本了

$ python3 --version

Python 3.6.3

$ python --version

Python 2.7.10

包安装

接下来安装抓包分析Html的利器

pip install beautifulsoup4

虽然用正则表达式也可以分析html，但是这个效率更高，也能避免去思考很多复杂的正则。这里Beautiful Soup 文档有关于这个工具的详细用法，下面我们用一个例子来简单介绍一下。

一个例子

下面以链家网的房屋列表页面为例，进行抓取分析：

以这个页面为例：https://bj.lianjia.com/zufang/pg/

我们需要抓取的是这个房屋列表信息，首先用chrome的检查工具找到这个列表的父容器：

所有的房屋信息列表都在这个ul里面了。

首选创建一个python文件，在顶部导入BeautifulSoup包：

#coding=utf-8

import urllib2

from bs4 import BeautifulSoup

然后是获取html地址中的文件内容方法：

def getHtml(url):

page = urllib2.urlopen(url)

html = page.read().decode('utf-8')

return html

接下来我们编写一个getList方法来筛出html内容中的房屋列表信息：

def getList(page):

list = []

html = getHtml("https://bj.lianjia.com/zufang/pg" + str(page) + "/")

这里html就是网页的内容了，方法接收一个page参数，可以抓取不同的页面。

接下来需要调用BeautifulSoup方法，把html文本转换成一个对象：

soup = BeautifulSoup(html, 'html.parser')

根据刚才对html的分析，我们需要的列表藏在一个ul中，ul具有id是house-lst，class是house-lst的特征，ul下面的每个li都是一个房屋信息，我们首选获取到房屋信息的数组items：

items = soup.find(attrs={"id":"house-lst","class":"house-lst"}).children

然后遍历items，里面的每个元素就都是一个li了

for item in items:

接下来我们再具体对每个li进行分析

房屋的Id在li的data-id属性中：

hid = item["data-id"]

图片在li->div(pic-pannel)->a->img->data-img属性中：

pic = item.find(attrs={"class":"pic-panel"}).a.img["data-img”]

接下来的信息都藏在info-panel的div下，我们先定义出这个容器对象：

infoPanel = item.find(attrs={"class":"info-panel"})

然后再依照上面的方法，一个个取出来：

title = infoPanel.h2.a.string

url = infoPanel.h2.a["href"]

region = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"region"}).string.rstrip()

zone = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"zone"}).span.string.rstrip()

meters = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"meters"}).string.rstrip()

direction = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).contents[-1].string

area = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).a.string

floor = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).contents[2]

history = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).contents[4]

subway = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"fang-subway-ex"})

subway = subway.span.string if subway else ""

hasKey = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"haskey-ex"})

hasKey = hasKey.span.string if hasKey else ""

decoration = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"decoration-ex"})

decoration = decoration.span.string if decoration else ""

heating = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"heating-ex"})

heating = heating.span.string if heating else ""

price = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price"}).find(attrs={"class":"num"}).string

priceUnit = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price"}).contents[-1]

updateTime = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price-pre"}).contents[0]

visited = infoPanel.find(attrs={"class":"col-2"}).find(attrs={"class":"square"}).find(attrs={"class":"num"}).string

visitedAction = infoPanel.find(attrs={"class":"col-2"}).find(attrs={"class":"square"}).find(attrs={"class":"col-look"}).string

上面的代码中增加了一些if判断，因为有的html节点不一定存在，有可能为空，所以需要判断一下再取值。最终形成我们想要的对象就是：

{

"hid": hid,

"image": pic,

"title": title,

"url": url,

"region": region,

"zone": zone,

"meters": meters,

"direction": direction,

"area": area,

"floor": floor,

"history": history,

"subway": subway,

"hasKey": hasKey,

"decoration": decoration,

"heating": heating,

"price": price,

"priceUnit": priceUnit,

"updateTime": updateTime,

"visited": visited,

"visitedAction": visitedAction

}

执行一下：

print getList(1)

就能看到我们想要的结果了

接下来的工作就是把这个数据持久化存储起来。