收藏关注不迷路
前言
本文先分析基于python的二手车销售数据分析系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了二手车的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对二手车数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。
[关键词] 爬虫，python，大数据，关键字，二手车数据
一、项目介绍
在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。
在业务上，本系统利用用户无法在海量的人人车网中查找到有效的二手车数据，因此设计了本系统对二手车数据进行存储，然后整理二手车数据，并通过可视化的方式展现出来。在后台也可以对这些二手车数据进行整理，为用户提供更加精确的二手车数据信息。
二、开发环境
开发语言：Python
python框架：django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js
————————————————
三、功能介绍
3.2 功能需求分析
3.2.1爬虫功能需求分析
在目前计算机信息化快速发展过程中，二手车销售逐渐转移到网络中来，本题目来源于二手车系统研发项目的子项目，该项目主要完成一个二手车数据系统的设计和开发，该系统用于收集当前地方二手车数据，然后通过爬取、清理、存储、统计二手车数据，并进行二手车数据，是现代化二手车管理不可缺少的部分，为热门二手车的推荐提供便捷的模式。本文旨在对人人车网上的二手车信息、销售信息进行爬取，收集各种类型的二手车数据信息。然后对二手车数据的内容进行分析，整理二手车数据信息。本系统首先分析人人车网站的网站结构，查看网站网页的排版，然后读取其包含的二手车信息。具体分为以下几个步骤，指定人人车网url，爬取网页信息，获取特定的人人车网url存入队列中，提取二手车数据的信息，将信息存入数据库，然后对销售数据等进行分析，得出二手车数据的可视化视图。
图3-1所示数据清洗和加工用例。
图3-1 数据清洗和加工用例
在本需求分析阶段，不需要关注如何爬取，只需要关注爬取什么样的信息，进行怎样的操作即可，所以先分析人人车网网站的数据，确定满足系统要求后，然后查看目标网站，将人人车网内的有关二手车数据进行提取，最后将信息存储到数据库。
3.2.2数据可视化功能需求分析
爬取完二手车数据后，需要对数据进行分析，根据评分和K-means聚类算法分析出二手车销售数据趋势，并可视化查询处理。本系统使用Python进行编程，通过HTML、JS等方法显示数据。具体包括：二手车数据数据展示、二手车数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。
图3-2 数据分析展示用例
基于python的二手车销售数据分析系统用户登录，先验证信息、成功启动系统后进行登录。登录验证成功后，获取到登录权限，跳转到系统首页。
进入到基于python的二手车销售数据分析系统大屏界面，通过图形化显示出车牌地统计、二手车类型、热卖车辆统计、销售记录统计、成色统计、上市时间统计、颜色统计。如果查询失败，返回基于python的二手车销售数据分析系统的错误页面。
四、核心代码
部分代码：
def users_login(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
if req_dict.get('role')!=None:
del req_dict['role']
datas = users.getbyparams(users, users, req_dict)
if not datas:
msg['code'] = password_error_code
msg['msg'] = mes.password_error_code
return JsonResponse(msg)
req_dict['id'] = datas[0].get('id')
return Auth.authenticate(Auth, users, req_dict)
def users_register(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
error = users.createbyreq(users, users, req_dict)
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def users_session(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}
req_dict = {"id": request.session.get('params').get("id")}
msg['data'] = users.getbyparams(users, users, req_dict)[0]
return JsonResponse(msg)
def users_logout(request):
if request.method in ["POST", "GET"]:
msg = {
"msg": "退出成功",
"code": 0
}
return JsonResponse(msg)
def users_page(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get("req_dict")
tablename = request.session.get("tablename")
try:
__hasMessage__ = users.__hasMessage__
except:
__hasMessage__ = None
if __hasMessage__ and __hasMessage__ != "否":
if tablename != "users":
req_dict["userid"] = request.session.get("params").get("id")
if tablename == "users":
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = users.page(users, users, req_dict)
else:
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = [],1,0,0,10
return JsonResponse(msg)
五、效果图
六、文章目录
目 录
摘 要 I
ABSTRACT II
目 录 II
第1章 绪论 1
1.1背景及意义 1
1.2 国内外研究概况 1
1.3 研究的内容 1
第2章 相关技术 3
2.1 Python简介 4
2.2 Django 框架介绍 6
2.3 B/S结构 4
2.4 MySQL数据库 4
第3章 系统分析 5
3.1 需求分析 5
3.2 系统可行性分析 5
3.2.1技术可行性：技术背景 5
3.2.2经济可行性 6
3.2.3操作可行性： 6
3.3 项目设计目标与原则 6
3.4系统流程分析 7
3.4.1操作流程 7
3.4.2添加信息流程 8
3.4.3删除信息流程 9
第4章 系统设计 11
4.1 系统体系结构 11
4.2开发流程设计系统 12
4.3 数据库设计原则 13
4.4 数据表 15
第5章 系统详细设计 19
5.1管理员功能模块 20
5.2用户功能模块 23
5.3前台功能模块 19
第6章 系统测试 25
6.1系统测试的目的 25
6.2系统测试方法 25
6.3功能测试 26
结 论 28
致 谢 29
参考文献 30
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
