基于Spark的共享单车数据存储系统

本文拟采用java技术和Springboot 搭建系统框架，后台使用MySQL数据库进行信息管理，设计开发的共享单车数据存储系统。通过调研和分析，系统拥有管理员和用户两个角色，主要具备个人中心、用户管理、共享单车管理、系统管理等功能模块。将纸质管理有效实现为在线管理，极大提高工作效率。
2.1 Java编程语言
Java语言的发展距今己有二十多年的历史，Java在众多编程开发语言中依然稳居排名前三，这离不开Java技术体系的众多开发优势，相对比于其他编程开发语言而言，Java语言[}so]的入门使用非常简单，Java集成了丰富的类库和封装类，能够使开发者非常方便调用，拥有强大的技术基础作为支撑，非常适合大型软件的开发。由于Java语言是一门面向对象的编程语言，因此程序员只需要掌握基本的语法规则和清晰的编程思路便可以较好地开发应用程序。除此之外，由于Java语言具有跨平台和可移植性强的开发优点，因此可以在Android的应用程序开发中发挥其重要作用。在大型的软件项目开发中应用Java技术较为广泛，能够为企业项目需求提供成熟的解决方案。
常用的计算机程序编程语言有Java语言、Python语言、C语言以及C++语言。由于Java语言具有成熟的技术架构以及较为广泛的应用范围，因此深得编程人员的喜爱。
Java语言提供了try-catch异常处理、垃圾自动回收、内存动态分配等强大功能机制，Java语言具备简单性、健壮性、可移植性、多线程等优点，Java语言的强大特性能够降低软件后期的维护成本以及有效缩短软件研发周期，节省了企业的软件开发成本。本研究的共享单车数据存储教学案例项目正是以成熟的Java编程语言为基础的共享单车数据存储项目开发语言。
2.2 Spark简介
Spark最初由加州大学伯克利分校的AMP(算法、机器和人)实验室于2009年开发，是一个基于内存计算的大数据并行计算框架，可用于构建大型、低延迟的数据分析应用程序。Spark最初是一个研究项目，它的许多核心思想来自学术研究论文。2013年，Spark加入Apache孵化器项目，开始快速发展。目前已成为Apache软件基金会分布式计算系统(Hadoop、Spark和Storm)三大最重要的开源项目之一。
Spark是大数据计算领域的后起之秀，在2014年打破了Hadoop的排序基准(Sort Benchmark)记录，使用206个节点在23分钟内对100tb的数据进行排序。Hadoop使用2000个节点在72分钟内对相同的数据进行排序。换句话说，Spark只使用十分之一的计算资源，速度是Hadoop的三倍。这一新的记录使Spark成为一个受欢迎的平台，并表明Spark可以作为一个更快、更高效的大数据计算平台。
2.3 SPRINGBOOT 框架
Spring Boot是由Pivotal的开发团队在2013年开发的一个免费、轻量级、开源的系统框架。SpringBoot的主要设计思想是约定大于配置，因此SpringBoot在设计时几乎达到零配置。SpringBoot集成了业界的开源框架。
SpringBoot是一个非常强大的后台框架，因为SpringBoot的开发基本上不需要写配置文件，所以利用SpringBoot来构建网站的后台环境，在SpringBoot的YML配置文件中写项目启动端口，项目就可以启动了。项目的Java和静态文件由SpringBoot管理。
2.4 MySQL数据库
MySQL是Oracle公司旗下的一个开源的关系型数据库管理系统(Relational Database Management System, RDBMS)}44} o MySQL支持使用多线程，充分利用了CPU的计算资源，可以选择InnoDB, MyISAM和MEMORY等作为存储引擎，提供了丰富的数据库管理工具。在索引功能的加持下，其具有非常高的查询效率，并支持主从、多节点集群等高可用部署模式。MySQL凭借其低廉的成本、可靠的数据库服务和出色的性能，目前己经成为绝大多数企业在进行项目开发时的首选关系型数据库。MySQL的体系结构如图2.1所示，具体可分为网络连接层、服务层、存储引擎层和系统文件层，分别完成建立连接、SQL解析与执行、数据存储与提取和数据交互等功能。

图2.1 MySQL体系结构图

2.5 B/S架构
B/S结构就是指系统客户端与服务器分离，客户端通过浏览器访问服务端进行操作。
B/S结构目前广泛应用于绝大部分系统搭建中，这种结构摒弃C/S结构客户端服务端不分离的缺点，具有更多的优势：
（1）跨平台性：B/S的标准由标准化组织确立，适用于绝大多数的系统搭建，通用于应用之间。
（2）低维护成本：客户端和服务器端分离，减轻了两端的压力，尤其是客户端，对客户端设备，硬件、软件要求都比较低，并且系统需要升级或维护时，只需要在服务器端升级或维护就可以，使相应的费用减少。





本系统采用java 技术和Springboot 框架来搭建本系统的框架。系统从选题开始，共经历了搜集选题背景信息和选题目的意义及分析，通过对国内外的研究，需求分析的整理，数据库的模型和表的设计，具体代码的实现。
通过调研和分析，该系统的功能设计为系统首页、个人中心、用户管理、共享单车管理、系统管理等功能。
该系统从设计和实现，再到系统的测试，每个环节都一一经历学习，每个环节都顺利完成。其实，在配置系统的开发工具时，就已遇到各种问题，但在导师和同学的帮助下，都已顺利的解决。本系统还有很多功能都不够完善，希望日后技术和经验都更丰富的情况下，能完善系统的不足之处。