收藏关注不迷路！！
🌟文末获取源码+数据库🌟
感兴趣的可以先收藏起来，还有大家在毕设选题（免费咨询指导选题），项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人
前言
💗博主介绍：✨全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师，专注于Java/Python/小程序app/深度学习等计算机设计，主要对象是咱们计算机相关专业的大学生，希望您们都能前途无量！✨💗
👇🏻 精彩专栏 推荐订阅👇🏻
计算机毕业设计设计精品实战案例✅
感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人
详细视频演示
文章底部名片，联系我看更详细的演示视频
项目介绍
租房数据分析系统是一个基于Hadoop的大数据平台，通过采用B/S架构，Django框架以及MySQL数据库技术，旨在为用户提供全面的租房信息和数据支持。该系统具备丰富的功能，包括管理员端的系统首页、个人中心、用户管理、房屋信息管理、租房数据管理和系统管理，以及前台端的首页、房屋信息、租房数据、房屋资讯和个人中心等模块。通过这些功能，用户可以方便地查找合适的房源，了解租金走势和热门区域等信息，同时管理员可以对用户和房屋信息进行有效管理，保证系统的正常运行和数据的安全性。该系统利用Hadoop技术处理和分析大量租房数据，为用户提供准确的市场分析和决策参考，帮助用户更好地了解租房市场的情况。无论是对于房东、租客还是房产中介来说，租房数据分析系统都是一个不可或缺的工具，为租房市场的健康发展提供了有力支持。
技术介绍
开发语言：Python
python框架：Django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js
功能介绍
租房数据分析系统主要有管理员和用户两个功能模块。以下将对这两个功能的作用进行详细的剖析。
管理员模块：管理员是系统中的核心用户，管理员登录后，可以对后台系统进行管理。主要功能有系统首页、个人中心、用户管理、房屋信息管理、租房数据管理、系统管理等功能。
用户：用户进入系统可以实现对首页、房屋信息、租房数据、房屋资讯、个人中心等信息进行操作。
核心代码
# 数据爬取文件
import scrapy
import pymysql
import pymssql
from ..items import LvyoujingdianItem
import time
import re
import random
import platform
import json
import os
import urllib
from urllib.parse import urlparse
import requests
import emoji
# 旅游景点
class LvyoujingdianSpider(scrapy.Spider):
name = 'lvyoujingdianSpider'
spiderUrl = 'https://you.ctrip.com/sight/lanzhou231/s0-p{}.html'
start_urls = spiderUrl.split(";")
protocol = ''
hostname = ''
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
def start_requests(self):
plat = platform.system().lower()
if plat == 'linux' or plat == 'windows':
connect = self.db_connect()
cursor = connect.cursor()
if self.table_exists(cursor, '5295r_lvyoujingdian') == 1:
cursor.close()
connect.close()
self.temp_data()
return
pageNum = 1 + 1
for url in self.start_urls:
if '{}' in url:
for page in range(1, pageNum):
next_link = url.format(page)
yield scrapy.Request(
url=next_link,
callback=self.parse
)
else:
yield scrapy.Request(
url=url,
callback=self.parse
)
# 列表解析
def parse(self, response):
_url = urlparse(self.spiderUrl)
self.protocol = _url.scheme
self.hostname = _url.netloc
plat = platform.system().lower()
if plat == 'windows_bak':
pass
elif plat == 'linux' or plat == 'windows':
connect = self.db_connect()
cursor = connect.cursor()
if self.table_exists(cursor, '5295r_lvyoujingdian') == 1:
cursor.close()
connect.close()
self.temp_data()
return
list = response.css('div.list_wide_mod2 div.list_mod2')
for item in list:
fields = LvyoujingdianItem()
if '(.*?)' in '''dt a::attr(href)''':
fields["laiyuan"] = re.findall(r'''dt a::attr(href)''', response.text, re.DOTALL)[0].strip()
else:
fields["laiyuan"] = self.remove_html(item.css('dt a::attr(href)').extract_first())
if '(.*?)' in '''div.leftimg a img::attr(src)''':
fields["fengmian"] = re.findall(r'''div.leftimg a img::attr(src)''', response.text, re.DOTALL)[0].strip()
else:
fields["fengmian"] = self.remove_html(item.css('div.leftimg a img::attr(src)').extract_first())
if '(.*?)' in '''div.rdetailbox dl dt a::text''':
fields["biaoti"] = re.findall(r'''div.rdetailbox dl dt a::text''', response.text, re.DOTALL)[0].strip()
else:
fields["biaoti"] = self.remove_html(item.css('div.rdetailbox dl dt a::text').extract_first())
if '(.*?)' in '''b.hot_score_number::text''':
fields["redu"] = re.findall(r'''b.hot_score_number::text''', response.text, re.DOTALL)[0].strip()
else:
fields["redu"] = self.remove_html(item.css('b.hot_score_number::text').extract_first())
if '(.*?)' in '''dd.ellipsis::text''':
fields["dizhi"] = re.findall(r'''dd.ellipsis::text''', response.text, re.DOTALL)[0].strip()
else:
fields["dizhi"] = self.remove_html(item.css('dd.ellipsis::text').extract_first())
if '(.*?)' in '''a.score strong::text''':
fields["pingfen"] = re.findall(r'''a.score strong::text''', response.text, re.DOTALL)[0].strip()
else:
fields["pingfen"] = self.remove_html(item.css('a.score strong::text').extract_first())
if '(.*?)' in '''a.recomment::text''':
fields["pinglun"] = re.findall(r'''a.recomment::text''', response.text, re.DOTALL)[0].strip()
else:
fields["pinglun"] = self.remove_html(item.css('a.recomment::text').extract_first())
if '(.*?)' in '''p[class="bottomcomment ellipsis open_popupbox_a"]''':
fields["dianping"] = re.findall(r'''p[class="bottomcomment ellipsis open_popupbox_a"]''', response.text, re.DOTALL)[0].strip()
else:
fields["dianping"] = self.remove_html(item.css('p[class="bottomcomment ellipsis open_popupbox_a"]').extract_first())
detailUrlRule = item.css('dt a::attr(href)').extract_first()
if self.protocol in detailUrlRule:
pass
elif detailUrlRule.startswith('//'):
detailUrlRule = self.protocol + ':' + detailUrlRule
else:
detailUrlRule = self.protocol + '://' + self.hostname + detailUrlRule
fields["laiyuan"] = detailUrlRule
yield scrapy.Request(url=detailUrlRule, meta={'fields': fields}, callback=self.detail_parse, dont_filter=True)
# 详情解析
def detail_parse(self, response):
fields = response.meta['fields']
try:
if '(.*?)' in '''<div class="baseInfoItem"><p class="baseInfoTitle">官方电话</p><p class="baseInfoText">(.*?)</p></div>''':
fields["gfdh"] = re.findall(r'''<div class="baseInfoItem"><p class="baseInfoTitle">官方电话</p><p class="baseInfoText">(.*?)</p></div>''', response.text, re.S)[0].strip()
else:
if 'gfdh' != 'xiangqing' and 'gfdh' != 'detail' and 'gfdh' != 'pinglun' and 'gfdh' != 'zuofa':
fields["gfdh"] = self.remove_html(response.css('''<div class="baseInfoItem"><p class="baseInfoTitle">官方电话</p><p class="baseInfoText">(.*?)</p></div>''').extract_first())
else:
fields["gfdh"] = emoji.demojize(response.css('''<div class="baseInfoItem"><p class="baseInfoTitle">官方电话</p><p class="baseInfoText">(.*?)</p></div>''').extract_first())
except:
pass
try:
if '(.*?)' in '''div[class="detailModule normalModule"]''':
fields["detail"] = re.findall(r'''div[class="detailModule normalModule"]''', response.text, re.S)[0].strip()
else:
if 'detail' != 'xiangqing' and 'detail' != 'detail' and 'detail' != 'pinglun' and 'detail' != 'zuofa':
fields["detail"] = self.remove_html(response.css('''div[class="detailModule normalModule"]''').extract_first())
else:
fields["detail"] = emoji.demojize(response.css('''div[class="detailModule normalModule"]''').extract_first())
except:
pass
return fields
# 去除多余html标签
def remove_html(self, html):
if html == None:
return ''
pattern = re.compile(r'<[^>]+>', re.S)
return pattern.sub('', html).strip()
# 数据库连接
def db_connect(self):
type = self.settings.get('TYPE', 'mysql')
host = self.settings.get('HOST', 'localhost')
port = int(self.settings.get('PORT', 3306))
user = self.settings.get('USER', 'root')
password = self.settings.get('PASSWORD', '123456')
try:
database = self.databaseName
except:
database = self.settings.get('DATABASE', '')
if type == 'mysql':
connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')
else:
connect = pymssql.connect(host=host, user=user, password=password, database=database)
return connect
# 断表是否存在
def table_exists(self, cursor, table_name):
cursor.execute("show tables;")
tables = [cursor.fetchall()]
table_list = re.findall('(\'.*?\')',str(tables))
table_list = [re.sub("'",'',each) for each in table_list]
if table_name in table_list:
return 1
else:
return 0
# 数据缓存源
def temp_data(self):
connect = self.db_connect()
cursor = connect.cursor()
sql = '''
insert into `lvyoujingdian`(
id
,laiyuan
,fengmian
,biaoti
,redu
,dizhi
,pingfen
,pinglun
,dianping
,gfdh
,detail
)
select
id
,laiyuan
,fengmian
,biaoti
,redu
,dizhi
,pingfen
,pinglun
,dianping
,gfdh
,detail
from `5295r_lvyoujingdian`
where(not exists (select
id
,laiyuan
,fengmian
,biaoti
,redu
,dizhi
,pingfen
,pinglun
,dianping
,gfdh
,detail
from `lvyoujingdian` where
`lvyoujingdian`.id=`5295r_lvyoujingdian`.id
))
limit {0}
'''.format(random.randint(10,15))
cursor.execute(sql)
connect.commit()
connect.close()
数据库参考
--
-- Current Database: `python63we0i0p`
--
/*!40000 DROP DATABASE IF EXISTS `python63we0i0p`*/;
CREATE DATABASE /*!32312 IF NOT EXISTS*/ `python63we0i0p` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
USE `python63we0i0p`;
--
-- Table structure for table `9krj0476_zufang`
--
DROP TABLE IF EXISTS `9krj0476_zufang`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `9krj0476_zufang` (
`id` bigint(20) NOT NULL DEFAULT '0' COMMENT '主键',
`addtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`title` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '标题',
`photo` longtext CHARACTER SET utf8 COMMENT '图片',
`postdate` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '更新时间',
`renttype` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '类型',
`price` double DEFAULT NULL COMMENT '价格（元/月）',
`areanum` double DEFAULT NULL COMMENT '面积（平米）',
`floor` int(11) DEFAULT NULL COMMENT '楼层',
`geju` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '格局',
`address` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '地址',
`laiyuan` longtext CHARACTER SET utf8 COMMENT '来源'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;
系统效果图
文章目录
目 录
1 绪 论 1
1.1课题背景 1
1.2 课题目的及意义 1
1.3课题研究现状 2
1.4 论文主要工作内容 2
2 系统关键技术 3
2.1 Python语言 3
2.2 MySQL数据库 3
2.3 Hadoop介绍 3
2.4 Django框架 4
2.5 VUE框架 4
2.6 B/S结构 4
3 系统分析 6
3.1需求分析 6
3.2 系统可行性分析 6
3.2.1 系统技术可行性 6
3.2.2 操作可行性 7
3.2.3 经济可行性 7
3.2.4社会可行性 7
3.2.5 法律可行性 8
3.3 系统性能分析 8
3.3.1 系统安全性 8
3.3.2 数据完整性 8
3.4 系统功能分析 9
3.5 系统流程分析 10
3.5.1 数据开发流程 10
3.5.2 用户登录流程 10
3.5.3 系统操作流程 11
3.5.4 添加信息流程 12
3.5.5 修改信息流程 13
3.5.6 删除信息流程 13
4 系统设计 14
4.1 系统概要 14
4.2 系统结构设计 14
4.3数据库设计 15
4.3.1 数据库设计原则 15
4.3.2 数据库实体 15
4.3.3 数据库表设计 16
4.4 系统时序图 19
4.4.1 注册时序图 20
4.4.2 登录时序图 20
4.4.3 管理员修改用户信息时序图 21
4.4.4 管理员管理系统信息时序图 22
5 系统的实现 23
5.1 基本任务 23
5.2 前台首页功能模块 23
5.3管理员模块实现 25
6 系统测试 30
6.1 测试环境 30
6.2 测试目的 30
6.3 测试概述 30
6.4 单元测试 32
6.4.1 注册测试 32
6.4.2 登录测试 32
6.5 集成测试 33
结 论 34
参考文献 35
致 谢 36
源码获取
下方名片联系我即可！！
大家点赞、收藏、关注、评论啦 、查看👇🏻获取联系方式👇🏻
扫一扫
858
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
