最近准备换房子,在网站上寻找各种房源信息,看得眼花缭乱,于是想着能否将基本信息汇总起来便于查找,便用python将基本信息爬下来放到excel,这样一来就容易搜索了。

    1. 利用lxml中的xpath提取信息

    xpath是一门在 xml文档中查找信息的语言,xpath可用来在 xml 文档中对元素和属性进行遍历。对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但xpath明显比re具有优势。具有如下优点:(1)可在xml中查找信息 ;(2)支持html的查找;(3)通过元素和属性进行导航

    2. 利用xlsxwriter模块将信息保存至excel

    xlsxwriter是操作excel的库,可以帮助我们高效快速的,大批量的,自动化的操作excel。它可以写数据,画图,完成大部分常用的excel操作。缺点是xlsxwriter 只能创建新文件,不可以修改原有文件,如果创建新文件时与原有文件同名,则会覆盖原有文件。

    3. 爬取思路

    观察发现贝壳网租房信息总共是100页,我们可以分每页获取到html代码,然后提取需要的信息保存至字典,将所有页面的信息汇总,最后将字典数据写入excel。

    4. 爬虫源代码

# @Author: Rainbowhhy
# @Date  : 19-6-25 下午6:35


import requests
import time
from lxml import etree
import xlsxwriter


def get_html(page):
    """获取网站html代码"""
    url = "https://bj.zu.ke.com/zufang/pg{}/#contentList".format(page)
    headers = {