打工人表弟想买套房让我帮忙分析——于是我用python下载了本地所有房源信息做成了可视化图

2401_84557402

于 2024-05-03 10:07:06 发布

阅读量316

点赞数 7

分类专栏：程序员文章标签： python 开发语言

本文链接：https://blog.csdn.net/2401_84557402/article/details/138410855

版权

程序员专栏收录该内容

149 篇文章 0 订阅

订阅专栏

软件

python 3.8 解释器
pycharm 专业版2021.2

有什么python相关报错解答自己不会的、或者源码资料/模块安装/~~女装大佬精通技巧~~ 都可以来这里：(https://jq.qq.com/?_wv=1027&k=dwzSWSBK)或者+V：python10010问我

不会安装的可以看我零基础系列都有讲

使用的模块及安装

requests >>> pip install requests 数据请求 (用python代码 模拟浏览器对于服务器发送请求)
parsel >>> pip install parsel 数据解析 (提取我们想要数据内容)  parsel 对于你们以后学习scrapy(核心组件之一)有帮助
csv 内置模块 不需要安装 获取到的数据内容保存到csv表格数据

win+r 输入cmd，输入安装命令 pip install 加上模块名

爬虫通用流程思路

明确需求(抓取内容: 视频数据/音频数据/图片)
发送请求: 对应分析得到url
获取数据: response.text[文本数据网页源代码] response.json()[json字典数据] response.content(二进制数据)
解析数据(提取我们想要数据内容) 解析方式: css xpath re
保存数据(保存csv表格) 视频/图片/音频/文字…文件本地数据库

数据来源分析

爬虫: 对于网页上面的数据内容进行采集程序

1. 确定爬取的内容是什么东西?
    二手房源的基本数据
2. 通过开发者工具进行抓包分析, 分析这些数据内容是可以哪里获取
    通过开发者工具, 分析可得 >>> 我们想要的房源数据内容(房源详情页url) 就是来自于 网页源代码
    如果你要爬取多个房源数据, 只需要在列表页面 获取所有的房源详情页url

代码实现步骤:

发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

请添加图片描述

📢爬虫代码 (https://jq.qq.com/?_wv=1027&k=dwzSWSBK)

代码部分

import pprint  # 格式化输出模块 内置模块
import requests  # 数据请求模块 第三方模块
import parsel  # 数据解析模块 第三方模块
import csv  # csv模块 内置模块 不需要安装

f = open('房源.csv', mode='a', encoding='utf-8', newline='')

csv_writer = csv.DictWriter(f, fieldnames=[
    '上次交易',
    '交易权属',
    '产权所属',
    '单价',
    '售价',
    '套内面积',
    '建筑类型',
    '建筑结构',
    '建筑面积',
    '户型结构',
    '房屋年限',
    '房屋户型',
    '房屋朝向',
    '房屋用途',
    '房本备件',
    '房源核验码',
    '所在楼层',
    '抵押信息',
    '挂牌时间',
    '标题',
    '梯户比例',
    '装修情况',
    '详情页',


**（1）Python所有方向的学习路线（新版）**  

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**