最近准备换房子,在网站上寻找各种房源信息,看得眼花缭乱,于是想着能否将基本信息汇总起来便于查找,便用python将基本信息爬下来放到excel,这样一来就容易搜索了。
1. 利用lxml中的xpath提取信息
xpath是一门在 xml文档中查找信息的语言,xpath可用来在 xml 文档中对元素和属性进行遍历。对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但xpath明显比re具有优势。具有如下优点:(1)可在xml中查找信息 ;(2)支持html的查找;(3)通过元素和属性进行导航
2. 利用xlsxwriter模块将信息保存至excel
xlsxwriter是操作excel的库,可以帮助我们高效快速的,大批量的,自动化的操作excel。它可以写数据,画图,完成大部分常用的excel操作。缺点是xlsxwriter 只能创建新文件,不可以修改原有文件,如果创建新文件时与原有文件同名,则会覆盖原有文件。
3. 爬取思路
观察发现贝壳网租房信息总共是100页,我们可以分每页获取到html代码,然后提取需要的信息保存至字典,将所有页面的信息汇总,最后将字典数据写入excel。
4. 爬虫源代码
# @Author: Rainbowhhy
# @Date : 19-6-25 下午6:35
import requests
import time
from lxml import etree
import xlsxwriter
def get_html(page):
"""获取网站html代码"""
url = "https://bj.zu.ke.com/zufang/pg{}/#contentList".format(page)
headers = {