[Selenium+Pyecharts]爬虫悉尼租房信息,清洗数据并可视化

本文介绍了一个使用Python爬虫获取悉尼租房信息,并利用Pyecharts进行数据清洗和可视化的项目。目的是帮助留学生快速了解悉尼各区域的平均租金,以及不同房型的分布情况。通过用户输入指定区域,程序自动爬取今日悉尼网站的最新租房信息,进行自动化处理和可视化展示。尽管存在如无法精确分类特殊房型等不足,但能为租房者提供一定参考。
摘要由CSDN通过智能技术生成

1.主要目的:

对于刚来悉尼的留学生,房价不透明,很容易被无良黑心中介或个人骗钱(还记得大概6年前,第一次在悉尼和我史大哥租房,930刀一周一房一卫,被坑的不要不要的),因此这个程序也许能快速帮助留学生了解悉尼某区域不同房型的平均价格,以及各种类型的房型有多少在租。
时至今日,澳洲边境不开,租房的需求越来越低,如何有理有据的和房东或者中介讨论新的房租,这些数据可能可以帮到你。

2.功能实现:

1 用户自主查询想要了解的区域

2 爬虫今日悉尼该区域的最新租房信息,自动化清洗数据和自动可视化

选取今日悉尼作为爬虫的原因是作为澳洲最大的华人平台,不论是大部分华人房东还是租客都依赖于今日悉尼,并且华人房东的房子地址装修各种都受到华人留学生的青睐。

3.代码展示:

备注是写博客的时候才加上的,具体有哪行代码不清楚的,欢迎留言讨论。

from selenium import webdriver
import pandas as pd
from selenium.webdriver.common.keys import Keys
import time
from pyecharts.charts import Pie,Bar
from pyecharts import options as opts
from pyecharts.globals import ThemeType

#获取用户想要查询的信息
distinct = str(input("请输入您要查询的区域: ").lower())
times = int(input("请输入您要加载的次数: "))

class SydneyTodayRent():
	#初始化信息
    def __init__(self):
        self.url = 'https://www.sydneytoday.com/house_rent'
        self.wd = webdriver.Chrome()
        self.wd.implicitly_wait(10)
        self.distinct = distinct
        self.distinct_1 = distinct[:-1]
        self.times = times
	#打开今日悉尼
    def open(self):
        self.wd.get(self.url)
	#进行爬虫
    def input(self):
        element = self.wd.find_element_by_id('autocomplete_suburb')
        element.send_keys(self.distinct_1)
        time.sleep(2)
        element.send_keys(Keys.DOWN)
        time.sleep(1)
        element.send_keys(Keys.ENTER)
        time.sleep(1)
        for i in range(int(self.times)):
            print(f'正在进行第{i + 1}次加载')
            self.wd.find_element_by_css_selector('.btn.btn-default.btn-lg.mtg-loadmore').send_keys
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 安居客出租房(武汉为例)爬虫+数据分析+可视化 这个爬虫是我前段时间在淘宝上做单子的时候遇见的一个客户需求。本来以为就是一个简单的爬虫项目。但后面客户加了数据清洗数据分析的要求。而后又加了要详细代码解释的需求等等。直到最后客户坦白说这是他们大专的毕设.......但是这个单子坐下来只有200左右,我想了一下,感觉好亏啊。在淘宝上随便找一个做毕设的都要好多钱的,而且客户本身的代码能力、数学、逻辑能力都很差,导致我每行都给注释以及看不懂,在我交付代码后又纠缠了我一个多礼拜。反正总体做下来的感觉就是烦躁。头一次感觉到了客户需求变更带来的巨大麻烦。 总之这是一次不是很愉快的爬虫经历。但是作为我写爬虫以来注释最详细的一次,以及第一次真正使用像matplotlib这种数据分析库的代码,我认为还是有必要分享出来给大家当个参考的(PS:大佬轻拍~)。爬虫本身几乎没有什么难度,写的也比较乱,敬请见谅。 **功能** 爬取安居客上的出租房信息(武汉地区的),并通过爬取的数据进行数据清洗以及数据分析。给出四个不同层面的可视化图。最终结果如下图所示: ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/1.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/2.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/3.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/4.png) **环境** 1. Windows 10 2. python3.7 **使用方法** 首先声明该爬虫由于是特定情况下写的,所以本身的通用性特别差,仅可以对安居客网站上的武汉的出租房信息进行爬取,且需要自己手动更新cookie。同时在对数据进行分析及可视化的时候由于也是特别针对武汉出租房的进行的,所以针对性也比较强。如果别的需求需要自己进行更改。 1. 访问[安居客网址](https://wuhan.anjuke.com/),获取cookie。 > tip:获取cookie的方法可根据[此链接](https://jingyan.baidu.com/article/5d368d1ea6c6e33f60c057ef.html) 2. 在项目中找到`spider.py`的文件,将第12行的cookie换成你自己的cookie。 3. 运行`spider.py`,获取房源信息。运行后应会产生一个`武汉出租房源情况.csv`的文件。此文件为我们从安居客上爬取的房源信息,其中包含`房屋租住链接、房屋描述、房屋地址、房屋详情(户型)以及经纪人、房屋价格`五个属性。 4. 在获取了数据之后我们运行`matplotlib.py`文件。进行数据清洗,分析,可视化。运行后即可获得**功能**中展示四个图片。 **技术栈** 1. request 2. parsel 3. pandas 4. matplotlib **进步(相比之前)** 此次爬虫相比之前的技术上可以说有减无增。但其中注释相当详细,可谓是每行代码都有注释。所以对于初学者应该有一些用处。同时使用matplotlib进行了数据分析可视化等。对于数据处理的代码的注释也是几乎每行都有注释的。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值