打工人表弟想买套房让我帮忙分析——于是我用python下载了本地所有房源信息做成了可视化图(2)

最新推荐文章于 2024-08-15 20:27:56 发布

m0_61549953

最新推荐文章于 2024-08-15 20:27:56 发布

阅读量737

点赞数 24

分类专栏：程序员文章标签： python 开发语言

本文链接：https://blog.csdn.net/m0_61549953/article/details/138382960

版权

程序员专栏收录该内容

165 篇文章 0 订阅

订阅专栏

本文详细介绍了使用Python爬虫技术抓取和解析房地产网站上的房源数据，包括视频、图片等非文本内容，通过分析网页源代码和利用CSS选择器和XPath获取所需数据，最终保存至CSV文件的过程。

摘要由CSDN通过智能技术生成

明确需求(抓取内容: 视频数据/音频数据/图片)
发送请求: 对应分析得到url
获取数据: response.text[文本数据网页源代码] response.json()[json字典数据] response.content(二进制数据)
解析数据(提取我们想要数据内容) 解析方式: css xpath re
保存数据(保存csv表格) 视频/图片/音频/文字…文件本地数据库

数据来源分析

爬虫: 对于网页上面的数据内容进行采集程序

1. 确定爬取的内容是什么东西?
    二手房源的基本数据
2. 通过开发者工具进行抓包分析, 分析这些数据内容是可以哪里获取
    通过开发者工具, 分析可得 >>> 我们想要的房源数据内容(房源详情页url) 就是来自于 网页源代码
    如果你要爬取多个房源数据, 只需要在列表页面 获取所有的房源详情页url

代码实现步骤:

发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

请添加图片描述

📢爬虫代码 (https://jq.qq.com/?_wv=1027&k=dwzSWSBK)

代码部分

import pprint  # 格式化输出模块 内置模块
import requests  # 数据请求模块 第三方模块
import parsel  # 数据解析模块 第三方模块
import csv  # csv模块 内置模块 不需要安装

f = open('房源.csv', mode='a', encoding='utf-8', newline='')

csv_writer = csv.DictWriter(f, fieldnames=[
    '上次交易',
    '交易权属',
    '产权所属',
    '单价',
    '售价',
    '套内面积',
    '建筑类型',
    '建筑结构',
    '建筑面积',
    '户型结构',
    '房屋年限',
    '房屋户型',
    '房屋朝向',
    '房屋用途',
    '房本备件',
    '房源核验码',
    '所在楼层',
    '抵押信息',
    '挂牌时间',
    '标题',
    '梯户比例',
    '装修情况',
    '详情页',
    '配备电梯',
])
csv_writer.writeheader()  # 写入表头
for page in range(1, 11):
    print(f'===================正在爬取第{
 page}页数据内容===================')
    # 1. 发送请求
    url = f'https://cs.\*\*\*\*.com/ershoufang/pg{
 page}/'  # 确定请求的url地址
    # 模拟浏览器发送请求 需要对于python代码进行伪装
    # headers:请求头 字典数据类型 键值对形式
    # header作用: 伪装
    # 加那些参数: cookie User-Agent(UA) referer host
    # 参数意思是什么
    # cookie: 用户信息, 常用于检测是否登陆账号
    # User-Agent: 浏览器基本身份标识(用户代理)
    # referer: 防盗链 告诉服务器我们发送请求的url地址是从哪里跳转过来 (动态网页)
    # host: 域名
    headers = {
 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    # 2. 获取数据, 获取网页源代码 response.text
    # print(response.text) # 返回数据字符串数据类型
    # 3. 解析数据 解析方式: css xpath re
    # css选择器: 根据标签属性内容提取数据
    selector = parsel.Selector(response.text)  # 返回对象
    # attr 属性选择器 getall() 获取所有 返回数据列表 人家语法就是这样 a::attr(href) 取a标签里面href属性
    href = selector.css('.sellListContent li .title a::attr(href)').getall()
    # print(href)
    # 列表 数据容器(一个箱子) 'https://cs.\*\*\*\*.com/ershoufang/104107916240.html' 元素(箱子里面东西)
    # for 循环 遍历就是从这个箱子里面一个一个拿东西出来
    for link in href:
        # 4. 发送请求, 对于房源详情页url地址发送请求
        # 5.获取数据, 获取网页源代码response.text
        response_1 = requests.get(url=link, headers=headers)
        # 6. 解析数据提取我们想要数据
        # print(response\_1.text)
        selector_1 = parsel.Selector(response_1.text)  # 返回对象
        # get() 取一个
        title = selector_1.css('.title .main::text').get()  # 标题
        price = selector_1.css('.price .total::text').get()  # 售价
        price_1 = selector_1

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。