python爬取租房网站数据

概要

提示：技术概要

Python由荷兰国家数学与计算机科学研究中心的吉多·范罗苏姆于1990年代初设计，作为一门叫作ABC语言的替代品。 [1] Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， [2] 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发

项目介绍

为什么我们要爬取租房网站的数据呢？
在贝壳的页面上找的话，我们需要一个个点开房源信息，这样太浪费时间。并且平时又比较忙，没有的太多的时间去现地看房。能不能尽快地帮助我们找到符合要求的房源，快速筛选出3-5个最佳的选项。利用python爬虫就可以实现这个功能。

一、打开PyCharm工具，创建python文件，导入以下模块

二、创建文件夹用来保存爬取的数据

def get_url(start_page=1, end_page=2):
    # 如果'file'文件不存在就创建
    #os.path.exists()检查目录是否存在
    if not os.path.exists(r'file'):
        os.mkdir(r'file')

    # 打开'file'下的'house.csv'文件
    f = open(r'file/house.csv', 'w', encoding='utf-8', newline