spark 手机销售数据的可视化分析系统
摘 要
信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于站在的角度存在偏差，人们经常能够获得不同类型信息，这也是技术最为难以攻克的课题。针对手机销售数据管理等问题，对手机销售数据管理进行研究分析，然后开发设计出手机销售数据可视化系统以解决问题。
手机销售数据可视化系统主要功能模块包括系统首页、轮播图、公告信息、资源管理（新闻资讯、新闻分类）交流管理（交流论坛、论坛分类）系统用户（管理员、系统用户）模块管理（数据信息、手机销量、手机价格），采取面对对象的开发模式进行软件的开发和硬体的架设，能很好的满足实际使用的需求，完善了对应的软体架设以及程序编码的工作，采取Mysql作为后台数据的主要存储单元，采用Python技术、Ajax技术进行业务系统的编码及其开发，实现了本系统的全部功能。本次报告，首先分析了研究的背景、作用、意义，为研究工作的合理性打下了基础。针对手机销售数据可视化系统的各项需求以及技术问题进行分析，证明了系统的必要性和技术可行性，然后对设计系统需要使用的技术软件以及设计思想做了基本的介绍，最后来实现手机销售数据可视化系统和部署运行使用它。
关键词：手机销售数据；Python技术；Mysql数据库
A Visual Analysis System for Spark Mobile Phone Sales Data
Abstract
In the information society, there is a need for targeted information acquisition channels, but the expansion of channels is basically the direction of people's efforts. Due to the deviation in perspective, people often can obtain different types of information, which is also the most difficult topic for technology to overcome. Aiming at the problems of mobile phone sales data management, this paper studies and analyzes the mobile phone sales data management, and then develops a mobile phone sales data visualization system to solve the problem.
The main functional modules of the data visualization system for mobile phone sales include the system home page, broadcast map, announcement information, resource management (news information, news classification), communication management (communication forum, forum classification), system management (management reasons, system users), module management (data information, mobile phone sales, mobile phone prices), and object-oriented development mode for software development and hardware erection, It can well meet the actual usage needs, improve the corresponding software installation and program coding work, adopt MySQL as the main storage unit for backend data, and use Python and Ajax technologies for business system coding and development, achieving all the functions of this system. This report first analyzes the background, role, and significance of the research, laying the foundation for the rationality of the research work. This paper analyzes the requirements and technical problems of the mobile phone sales data visualization system, proves the necessity and technical feasibility of the system, and then makes a basic introduction to the technical software and design ideas that the system needs to use. Finally, it realizes the mobile phone sales data visualization system and deploys and runs it.
Keywords: mobile phone sales data; Python technology; MySQL database
目 录
网络的快速发展从根本上更改了世界各组织的管理方式，自二十世纪九十年代开始，我国的政府、企事业等单位就设想可以通过互联网系统来进行管理信息。由于以前存在各方面的原因，比如网络普及度低、用户不接受、互联网的相关法律法规也不够完善、开发技术也不够成熟等，阻碍了互联网在各大机构中的发展速度。进入二十一世纪以后，我国经济有了快速的发展，限制机构管理的各个难题逐一被解决，国内各大机构都加入到了电子信息化的管理模式中来。
随着我国经济的迅速发展，人们的生活水平有了显著提高，生活节奏一天比一天快，房屋也成了人们生活中离不开的代步工具。而房屋作为一种高价位消费品，并非每一个需要的人都能拥有，所以就诞生了一种新的商机――手机销售数据可视化系统。
数据可视化 (Data Visualization)技术指的是运用计算机图形学和图像处理技术﹐将数据换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术'。它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。在数据的处理过程中,科学家们不仅需要通过图形图像来分析由计算机算出的数据﹐而且需要了解在计算过程中数据的变化。随着计算机技术的发展，数据可视化概念已大大扩展﹐它不仅包括科学计算数据的可视化，而且包括工程数据和测量数据的可视化。我们可以通过数据可视化技术,发现大量数据中隐含的规律﹐从而为决策提供依据。这是数据可视化技术的根本。
管理信息系统是一个集信息技术、经济管理理论、统计学与运筹学、数据库技术为一体的综合性系统，是一个资金技术密集型、劳动密集型、智力密集型的项目。我国拥有广阔的市场和丰富的人才资源，有几十年的技术积累和经验积累，有一定的后发优势。管理信息系统的创新工作既不能妄自菲薄，更不能夜郎自大。要抓住当前网络经济兴起的有利时机，以实现我国信息技术和信息产业的跨越式发展，更好地发挥信息产业对国民经济增长的拉动作用。
开发手机销售数据可视化系统的过程就是要实现数据处理方式由人工管理向计算机管理的转变，它在计算机技术和房屋管理实践活动两者之间架设桥梁。而用Flask所开发的手机销售数据可视化系统却能在这些功能方面运作自如，为用户赢得无限的商机。
此“手机销售数据可视化系统”的开发定位于一个能够满足数据库管理软件，即具备一个数据库管理软件的基本功能，包括数据的增加，删除，修改，查询，统计等，便于用户查看，操作，和查询手机价格信息。同时能够提供高质量的套打及快速生成统计分析报表。此外，系统具有用户登录功能，不同用户有不同的权限，这样可以提高数据的安全性和可靠性。系统采用盟友系统开发平台和数据库相结合的手段进行开发，结构紧凑、运行速度快、操作简单，更因为拥有自己的源代码，所以保证了软件具有高度的保密、安全性。
首先，通过引擎搜索或者查阅相关文献资料，了解了本系统开发的背景以及设计系统的意义所在，收集用户需求信息。其次，在开发工具上，最终确定选用Python平台来设计开发本系统，Mysql作为设计数据库的工具。即利用Python语言实现用户界面，并同数据库连接起来实现完整的通信功能。之后，设计出系统大致的功能模块。主要从方便系统用户和系统管理员的角度进行分析，明确该系统应该具有的功能。最终是测试系统，通过用例测试发现存在的问题并找到解决的方案。利用现有的开发平台，结合自己所学的知识，在老师的指导帮助下来完成该设计，确保系统的可用性、实用性。
本系统前端部分基于MVVM模式进行开发，采用B/S模式，后端部分基于python的Flask框架进行开发。
前端部分：前端框架采用了比较流行的渐进式JavaScript框架Vue.js。使用Vue-Router和Vuex实现动态路由和全局状态管理,Ajax实现前后端通信，Element UI组件库使页面快速成型，项目前端通过栅格布局实现响应式，可适应PC端、平板端、手机端等不同屏幕大小尺寸的完美布局展示。
后端部分：采用Flask作为开发框架，同时集成Redis等相关技术。
Python 是一个高层次的脚本语言结合了解释性、编译性、互动性和面向对象的。Python 的设计，相比其他语言经常使用英文关键字和其他语言的一些标点符号，它具有比其他语言更有特色语法结构，具有很强的可读性。
解释型语言：类似于Python和Perl语言，这意味着开发过程中没有了编译这个环节。
交互式语言：可以在一个 Python 提示符 >>> 后直接执行代码。
面向对象语言：Python支持面向对象的风格或代码封装在对象的编程技术。
-
- Flask框架
Flask是一个轻量级的可定制框架，使用Python语言编写，较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合MVC模式进行开发，开发人员分工合作，小型团队在短时间内就可以完成功能丰富的中小型网站或Web服务的实现。另外，Flask还有很强的定制性，用户可以根据自己的需求来添加相应的功能，在保持核心功能简单的同时实现功能的丰富与扩展，其强大的插件库可以让用户实现个性化的网站定制，开发出功能强大的网站。
Flask是目前十分流行的web框架，采用Python编程语言来实现相关功能。它被称为微框架(microframework)，“微”并不是意味着把整个Web应用放入到一个Python文件，微框架中的“微”是指Flask旨在保持代码简洁且易于扩展，Flask框架的主要特征是核心构成比较简单，但具有很强的扩展性和兼容性，程序员可以使用Python语言快速实现一个网站或Web服务。一般情况下，它不会指定数据库和模板引擎等对象，用户可以根据需要自己选择各种数据库。Flask自身不会提供表单验证功能，在项目实施过程中可以自由配置，从而为应用程序开发提供数据库抽象层基础组件，支持进行表单数据合法性验证、文件上传处理、用户身份认证和数据库集成等功能。Flask主要包括Werkzeug和Jinja2两个核心函数库，它们分别负责业务处理和安全方面的功能，这些基础函数为web项目开发过程提供了丰富的基础组件。Werkzeug库十分强大，功能比较完善，支持URL路由请求集成，一次可以响应多个用户的访问请求；支持Cookie和会话管理，通过身份缓存数据建立长久连接关系，并提高用户访问速度；支持交互式Javascript调试，提高用户体验；可以处理HTTP基本事务，快速响应客户端推送过来的访问请求。Jinja2库支持自动HTML转移功能，能够很好控制外部黑客的脚本攻击。系统运行速度很快，页面加载过程会将源码进行编译形成Python字节码，从而实现模板的高效运行；模板继承机制可以对模板内容进行修改和维护，为不同需求的用户提供相应的模板。目前Python的web框架有很多。除了Flask，还有django、Web2py等等。其中Django是目前Python的框架中使用度最高的。但是Django如同java的EJB(EnterpriseJavaBeansJavaEE服务器端组件模型)多被用于大型网站的开发，但对于大多数的小型网站的开发，使用SSH(Struts+Spring+Hibernat的一个JavaEE集成框架)就可以满足，和其他的轻量级框架相比较，Flask框架有很好的扩展性，这是其他Web框架不可替代的。
-
- Mysql数据库
Mysql 经过多次的更新，功能层面已经非常的丰富和完善了，从Mysql4版本到5版本进行了比较大的更新，在商业的实际使用中取得了很好的实际应用效果。最新版本的Mysql支持对信息的压缩，同时还能进行加密能更好的满足对信息安全性的需求。同时经过系统的多次更新，数据库自身的镜像功能也得到了很大的增强，运行的流畅度和易用性方面有了不小的进步，驱动的使用和创建也更加的高效快捷。最大的变动还是进行了空间信息的显示优化，能更加方便的在应用地图上进行坐标的标注和运算。强大的备份功能也保证了用户使用的过程会更加安心，同时支持的Office特性还支持用户的自行安装和使用。在信息的显示形式上也进行了不小的更新，增加了两个非常使用的显示区，一个是信息区，对表格和文字进行了分类处理，界面的显示更加清爽和具体。第二是仪表的信息控件，能在仪表信息区进行信息的显示，同时还能进行多个信息的比对，为用户的实际使用带来了很大的便捷[8][9]。
针对本文中设计的手机销售数据可视化系统在实际的实现过程中，最终选择Mysql数据库的主要原因在于在企业的应用系统应用及开发的过程中会存在大量的数据库比较频繁的操作，而且数据的安全性要求也是非常的高。综合这些因素，最终选择安全性系数比较高的Mysql来对手机销售数据可视化系统后台数据进行存储操作。
数据库管理系统的总体结构图如下图所示。
图2-1 数据库组成结构
B/S架构采取浏览器请求，服务器响应的工作模式。
用户可以通过浏览器去访问Internet上由Web服务器产生的文本、数据、图片、动画、视频点播和声音等信息；
而每一个Web服务器又可以通过各种方式与数据库服务器连接，大量的数据实际存放在数据库服务器中；
从Web服务器上下载程序到本地来执行，在下载过程中若遇到与数据库有关的指令，由Web服务器交给数据库服务器来解释执行，并返回给Web服务器，Web服务器又返回给用户。在这种结构中，将许许多多的网连接到一块，形成一个巨大的网，即全球网。而各个企业可以在此结构的基础上建立自己的Internet。
在 B/S 模式中，用户是通过浏览器针对许多分布于网络上的服务器进行请求访问的，浏览器的请求通过服务器进行处理，并将处理结果以及相应的信息返回给浏览器，其他的数据加工、请求全部都是由Web Server完成的。通过该框架结构以及植入于操作系统内部的浏览器，该结构已经成为了当今软件应用的主流结构模式。
技术性方面，采用当前主流的Python技术进行系统主体框架的搭建，前台使用jquery，ajax，实现前台页面的设计与美观调整，以上技术，均由本人经过系统学习，并且都是在课程设计中实践过的，可以使得开发更加便捷和系统。从技术角度看，这个系统是完全可以实现的。
实用性方面，本次设计的主要任务是在手机销售数据可视化系统内手机销售数据、手机销量、手机价格等，符合当前潮流的发展。从用户角度出发，同时也考虑系统运营成本和人力资源，采用网络上的便捷方式，实现线上业务，使得业务流程更系统，也更方便用户的体验，比较实用。
经济性方面，由于本课题中设计的手机销售数据可视化系统的主要目的是为了能够更加方便及快捷的进行信息的查询管理及检索服务，也就是能够可以直接投入使用的信息化软件。系统的主要成本主要是集中在对使用数据后期继续维护及其管理更新这个操作上。但是一旦系统投入到实际的运行及使用之后就能够很好的提高信息查询检索的效率，同时也需要有效的保证查询者的信息方面的安全性，同时这个手机销售数据可视化系统所带来的实际应用方面的价值是远远的超过了实际系统进行开发与维护方面的成本，因此，从经济上来说开发这个软件是可行的。
手机销售数据可视化系统的功能主要分为前台用户根据自己的需求进行注册登录，浏览地区价格并对选中的房产进行搜索操作。后台系统管理员因职责的不同，管理员主要数据信息、手机销量、手机价格进行处理。
系统用例图如下所示。
图3-1 系统用例图
首先主要考虑的是系统功能软件，在具体设计的环节上，是不是能够较好的满足各类用户的基本功能需求，如果不能较好的满足用户需求，那么这个系统的存在是没有价值的。软件系统的非功能性求分析，从7个方面展开，一个是性能分析，针对系统；一个是安全分析，针对系统，一个是完整度分析，针对系统，一个是可维护分析，针对系统，一个是可扩展性分析，针对系统，一个是适应业务的性能分析。面对手机销售数据可视化系统存在的性能、安全、扩展、完整度等7个方面性能综合比对分析后发现，需要相应的非功能性需求分析。
安全性对每一个系统来说都是非常重要的。安全性很好的系统可以保护企业的信息和用户的信息不被窃取。提高系统的安全性不仅是对用户的负责，更是对企业的负责。尤其针对于手机销售数据可视化系统来说，必须要有很好的安全性来保障整个系统。
系统具有对使用者有权限控制，针对角色的不通限制使用者的权限，以此来确保系统的安全性。
数据库中的数据是从外界输入的，当数据的输入时，由于种种原因，输入的数据会无效，或者是脏数据。因此，怎样保证输入的数据符合规定，成为了数据库系统，尤其是多用户的关系数据库系统首要关注的问题。
因此，在写入数据库时，要保证数据完整性、正确性和一致性。
对系统的数据流进行分析，系统的使用者分为二类，一般用户，管理员。系统主要对界面信息传送，登录信息的验证，注册信息的接收，用户各种操作的响应做处理。
系统顶层数据流图如下图所示。
图3-2 顶层数据流图
要判断用户是是什么身份，是根据登录的数据来判断后，跳转到对应的功能界面。在系统的内部用户就可以对数据进行操作，数据库中心就可以接收到系统传输的有效数据流来对数据sql语句进行对应操作。
系统底层数据流图如下图所示。
图3-3 底层数据流图
本手机销售数据可视化系统的架构设计主要分为可以3层，主要有Web层，业务层，Model层。其中web层还包括View层和Controller层，Model层包括元数据扩展层和数据访问层。
系统架构如下图所示。
图4-1 系统架构
手机销售数据可视化系统总体后台管理员模块。
模块表现上是分别独立存在，但是访问的数据库是一样的。每一个模块的功能都是根据先前完成的需求分析，并查阅相关资料后整理制作的。
综上所述，系统功能结构图如下图所示。
图4-2 系统功能结构图
登录模块：登录模块是进入系统的入口，所有用户必须登录后才能访问系统。登录需要输入用户名和密码，如果多次尝试登录需要输入验证码。登录时需要选择用户的角色，是一般用户还是管理员登录等。登录成功后，会通过数据库获取用户的权限，并跳转至用户的主页面。
管理员用户管理模块：管理员管理包括：管理员的添加，修改和删除操作。添加管理员时，先判断用户添加的管理员是否是admin（超级管理员），如果不是则添加成功。修改时候，如果是超级管理员，可以修改所有管理员的信息，如果是普通管理员，那么只能修改自己的信息。超级管理员可以删除自己以外的所有其他管理员，普通管理员不能执行删除管理员的操作。
从前面可以分析到数据库中最重要的是区域管理、地区价格、品种管理、品种价格，管理员信息。分析可以得到如下数据描述：
管理员：记录管理员的登录信息。包括用户名，密码，权限等数据项。
根据前面的数据流程图，结合系统的功能模块设计，设计出符合系统的各信息实体。
系统ER图如下图所示。
图4-3系统实体ER属性图
手机销售数据可视化系统所拥有的数据表有以下：用户信息表，地区价格表，评论表。
由于数据表较多，只展示系统主要数据表，如下表所示。
表access_token (登陆访问时长)
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
token_id |
int |
10 |
0 |
N |
Y |
临时访问牌ID |
|
| 2 |
token |
varchar |
64 |
0 |
Y |
N |
临时访问牌 |
|
| 3 |
info |
text |
65535 |
0 |
Y |
N |
||
| 4 |
maxage |
int |
10 |
0 |
N |
N |
2 |
最大寿命：默认2小时 |
| 5 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 6 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
| 7 |
user_id |
int |
10 |
0 |
N |
N |
0 |
用户编号: |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
article_id |
mediumint |
8 |
0 |
N |
Y |
文章id：[0,8388607] |
|
| 2 |
title |
varchar |
125 |
0 |
N |
Y |
标题：[0,125]用于文章和html的title标签中 |
|
| 3 |
type |
varchar |
64 |
0 |
N |
N |
0 |
文章分类：[0,1000]用来搜索指定类型的文章 |
| 4 |
hits |
int |
10 |
0 |
N |
N |
0 |
点击数：[0,1000000000]访问这篇文章的人次 |
| 5 |
praise_len |
int |
10 |
0 |
N |
N |
0 |
点赞数 |
| 6 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 7 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
| 8 |
source |
varchar |
255 |
0 |
Y |
N |
来源：[0,255]文章的出处 |
|
| 9 |
url |
varchar |
255 |
0 |
Y |
N |
来源地址：[0,255]用于跳转到发布该文章的网站 |
|
| 10 |
tag |
varchar |
255 |
0 |
Y |
N |
标签：[0,255]用于标注文章所属相关内容，多个标签用空格隔开 |
|
| 11 |
content |
longtext |
2147483647 |
0 |
Y |
N |
正文：文章的主体内容 |
|
| 12 |
img |
varchar |
255 |
0 |
Y |
N |
封面图 |
|
| 13 |
description |
text |
65535 |
0 |
Y |
N |
文章描述 |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
type_id |
smallint |
5 |
0 |
N |
Y |
分类ID：[0,10000] |
|
| 2 |
display |
smallint |
5 |
0 |
N |
N |
100 |
显示顺序：[0,1000]决定分类显示的先后顺序 |
| 3 |
name |
varchar |
16 |
0 |
N |
N |
分类名称：[2,16] |
|
| 4 |
father_id |
smallint |
5 |
0 |
N |
N |
0 |
上级分类ID：[0,32767] |
| 5 |
description |
varchar |
255 |
0 |
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
