爬取某家网（济南）二手房数据（代码）

最新推荐文章于 2024-02-28 21:02:29 发布
最新推荐文章于 2024-02-28 21:02:29 发布
阅读量2.9k 收藏 39
点赞数 4
分类专栏： Python 文章标签： python 开发语言 后端 数据挖掘 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43412080/article/details/121187312
版权
本文提供了一份代码，用于爬取某家网（济南）的二手房数据。内容涉及代码解析和流程设计，详细教程可在参考链接中获取。强调代码仅供学习交流，禁止商业使用。
摘要由CSDN通过智能技术生成

关于代码解析和流程设计：可参考：
《爬取某家网二手房数据（详细教程）》

代码仅用于交流学习，不可用于商业用途


# encoding:utf-8
# FileName: craw_lianjia_house
# Date:     2021/11
# Author:   duxiaobai
# Description: 爬取lianjia网的二手房信息

import os
import random
import re
import time
from collections import OrderedDict
from datetime import datetime

import pandas as pd
import requests
from bs4 import BeautifulSoup


def get_ua():
    """
    在UA库中随机选择一个UA
    :return: 返回一个库中的随机UA
    """
    ua_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
        "Opera/8.0 (Windows NT 5.1; U; en)",
        "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
        "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Macintosh; U; IntelMac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1Safari/534.50",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"]

    return random.choice(ua_list)


class LianJiaHouse:
    def __init__(self, city, url, page_size, save_file_path):
        """
        初始化
        @param url: 主起始页
        @param page_size: 每一页的出租房屋个数
        """
        # 城市
        self.city = city
        # 主起始页
        self.base_url = url
        # 当前筛选条件下的页面
        self.current_url = url
        # 行政区域
        self.area = []
        # 户型：一室、二室、三室、四室、五室、五室+
        self.rooms_number = ['l1', 'l2', 'l3', 'l4', 'l5', 'l6']
        # 朝向：朝东+朝南+朝西+朝北+南北
        self.orientation = ['f1', 'f2', 'f3', 'f4', 'f5']
        # 起始页码默认为0
        self.start_page = 0
        # 当前条件下的总数据页数
        self.pages = 0
        # 每一页的出租房屋个数，默认page_szie=30
        self.page_size = page_size
        # 最大页数
        self.max_pages = 100
        # 设置最大数据量，测试用
        self.count = 0
        # 本地文件保存地址
        self.save_file_path = save_file_path
        # 所有已经保存的房屋 id，用来验证去重
        self.house_id = self.get_exists_house_id()
        # 保存数据
        self.data_info = []
        # 系统等待时间：最大时间 + 最小时间（单位：秒）
        self.await_max_time = 5
        self.await_min_time = 3
        # 重连次数
        self.retry = 5
        # 设置爬虫头部，建议多设置一些，防止被封
        self.headers = {
   
            'User-Agent': get_ua(),
        }

    def get_main_page(self):
        """
        进入主起始页
        @return:
        """
        # 获取当前筛选条件下数
最低0.47元/天 解锁文章
杜小白iu
关注
  • 4
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 22
    评论
专栏目录
【Python爬虫系列】Python 爬取搜房网二手房数据
yuzhucu的专栏
01-06 1万+
用Python爬取搜房网二手房价格数据
爬取链家二手房数据
solopoem的博客
11-19 2648
1.导入工具 import requests import parsel import csv from lxml import html 2.请求网页响应，爬取数据，并将爬取到的文件写入文档 etree = html.etree #解析字符串格式的HTML文档对象 headers ={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
二手房交易系统源代码
01-06
需连接数据库,应用asp.net网站开发技术,有注册\房源发布等模块
上海链家所有二手房+代码
12-29
上海链家所有二手房资源+源代码，
python 爬取58二手房信息
07-04
基于《用python写网络爬虫》示例修改的爬取58武汉各区二手房信息。
基于机器学习的某城市二手房交易价格预测算法完整源码（ 爬取某家网的二手房交易数据+spark大数据分布式计算框架处理）.zip
最新发布
03-30
1、该资源内项目代码都是经过测试运行成功，功能正常的情况下才上传的，请放心下载使用。 2、适用人群：主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、数学、电子信息等...
price_predict_data爬取房天下二手房数据显示_价格预测_
10-04
在本项目中，我们主要关注的是如何利用Python进行数据爬取以及如何基于这些数据进行价格预测，特别是针对房天下的二手房市场。以下是对这个主题的详细解析： 首先，"price_predict.py"是该项目的主要脚本文件，我们...
基于网络爬虫技术的云南省二手房数据爬取源代码与爬取结果及中间过程数据
01-19
在本资源中，我们主要探讨的是如何利用网络爬虫技术来获取云南省的二手房数据。网络爬虫是一种自动化程序，能够遍历互联网上的网页，提取所需信息。在这个案例中，目标是收集不同房产网站如安居客、搜房、云南荣城和...
二手房网站整站打包备份源码
04-12
原有整站二手房网站，服务器到期前整站打包备份资源，分享给各位
链家二手房信息爬取（内附完整代码）
热门推荐
qq_46256922的博客
07-26 2万+
链家二手房信息爬取1.简介2. 爬虫思路2.1 网页分析2.2 详情页分析2.3 不同页码的爬取2.4 解决链家只显示100页数据2.5 简单的反爬与进度条显示3. 总结 1.简介   最近帮同学爬取了链家在售二手房的信息，这是本人学习爬虫以来爬取数据最多的一次，就想着写个博客记录一下。   本次爬虫是利用python+jupyter notebook实现的，用到的第三方库如下: import pandas as pd # 数据存储 import requests # 网页内容获取 import re #
表弟准备买房，让我帮他分析分析哪个小区最合适，我直接用python下载了本地所有房源信息做成了可视化图
轻松学python的博客
02-12 1998
表弟刚毕业工资2500，节衣缩食一年准备买200W左右的房，让我帮他参谋一下房子买哪里好，买房过程简直太励志了！
Python-Selennium之爬虫实战--链家二手房爬虫项目
qq_42209504的博客
07-02 3514
万物皆可selenium之链家二手房成交记录爬虫实战1.selenium的安装2.浏览器驱动的选用及安装这边我用的火狐浏览器驱动，因为谷歌浏览器驱动设置IP代理老是失败2.1下载链接: [Geckodriver](https://github.com/mozilla/geckodriver/releases).2.2安装: 我是用的jupyter notebook，所以教大家一个简便办法，将Geckodriver直接上传到你的jupyter notebook里面。点击upload然后，上传。上传后会出现在下
python分布式(scrapy-redis)实现对房天下全国二手房与新房的信息爬取(偏小白,有源码有分析)
qq_39915318的博客
06-10 7224
偏小白向的python分布式爬取房天下全国二手房与新房信息，json30Mb+ redis数据库数据40W+，有详细分析过程，注释多(‾◡◝)
Python山东济南二手房源爬虫数据可视化分析大屏全屏系统 开题报告
杭州.黄老师
02-28 3107
Python山东济南二手房源爬虫数据可视化分析大屏全屏系统 开题报告毕设代码毕业设计成品，但随着技术的不断发展和应用需求的增加，这一领域的研究和应用将会蓬勃发展。一方面，只要有能上网的电脑，系统的管理员在任何地方任何时候都可以管理，工作效率进一步提高从而节省人力、物力，只要会打字即可，不需要很高的学历；总的来说，Python山东济南二手房源爬虫数据可视化分析大屏全屏系统的研究将有助于提升房地产市场的信息化水平，增强市场的透明度和公平性，同时为相关领域的技术创新和应用提供推动力。
初探python——数据解析
HadwinLing
07-29 242
聚焦爬虫:爬取页面中指定的页面内容。 - 编码流程： - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类： - 正则 - bs4 - xpath（***） 数据解析原理概述： - 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 - 1.进行指定标签的定位 - 2.标签或者标签对应的属性中存储的数据值进行提取（解析.
BeautifulSoup获取指定class样式的div
坂田搬运工
12-03 1万+
更详细的，参考链接 beautifulsoup菜鸟教程 ： http://www.jsphp.net/python/show-24-214-1.html 想获取<div class='xxx'> ...<div>这样的div标签，通常有三种办法， 1）用字符串查找方法,然后切分字符串（或切片操作），如str.index(patternStr)或str.find...
爬取某家网二手房数据（详细教程）
杜小白Blog
11-07 6904
这里写目录标题项目描述：项目实施：1. 确定目标1.1 先来说第一个页面上述设置的目的是：所以我们可以在代码中这样呈现：1.2中间的列表部分下面的翻页部分：1.3 第二个页面从价格部分可以获取到：参考总价、单价从所在区域可以获取到：小区名称、大区域+小区域基本信息+交易信息数据如下图：最后是地图部分的数据：2. 流程设计3. 主要代码复现核心代码分析，完整代码看链接：获取当前条件下的房屋数据个数：判断是否超过3000，若超过则进行第二级筛选，若未超过则直接获取数据4. 运行完整代码：总结： 今天分享一篇爬虫
我用python爬取济南房价，告诉你哪里买房合适(-)
qq_36114862的博客
06-03 1016
import requests from bs4 import BeautifulSoup import os import numpy as np import pandas as pd import matplotlib.pyplot as plt def GetUrlHtml(url): kv={"User-Agent": "Mozilla/5.0"} response=r...
爬取北京链家网二手房数据
06-09
爬取北京链家网站的二手房数据，您可以按照以下步骤进行： 1. 确定好爬取的网站链接。例如，北京链家网站二手房页面的链接为：https://bj.lianjia.com/ershoufang/。 2. 使用 Python 编程语言，使用 Requests 库向该链接发送 GET 请求，获取网页内容。 3. 使用 Beautiful Soup 库对网页内容进行解析，获取房源数据。 4. 对房源数据进行清洗和格式化处理，以便后续数据分析使用。 需要注意的是，爬取网站数据需要遵守相关法律法规和网站的规定，避免对网站造成不必要的影响。同时，爬取数据也需要注意数据隐私保护等方面的问题。
评论 22
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值