【计算机毕业设计】基于hive旅游数据的分析与应用系统

随着计算机技术发展，计算机系统的应用已延伸到社会的各个领域，大量基于网络的广泛应用给生活带来了十分的便利。所以把旅游数据管理与现在网络相结合，利用计算机搭建旅游数据的分析与应用系统，实现旅游数据的信息化。则对于进一步提高旅游数据管理发展，丰富旅游数据管理经验能起到不少的促进作用。
系统阐述的是使用基于hive旅游数据的分析与应用系统，对于Java、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计，描述，实现和分析与测试方面来表明开发的过程。开发中使用了springboot框架和MySql数据库技术搭建系统的整体架构。利用这些技术结合实际需求开发了具有个人中心、用户管理、旅游数据管理、地名管理、系统管理等功能的系统，最后对系统进行相应的测试，测试系统有无存在问题以及测试用户权限来优化系统，最后系统达到预期目标。
2.1 Java介绍
Java主要采用CORBA技术和安全模型，可以在互联网应用的数据保护。它还提供了对EJB（Enterprise JavaBeans）的全面支持，java servlet API，SSM（java server pages），和XML技术。Java是一种计算机编程语言，具有封装、继承和多态性三个主要特性，广泛应用于企业Web应用程序开发和移动应用程序开发。Java语言和一般编译器以及直译的区别在于，Java首先将源代码转换为字节码，然后将其转换为JVM的可执行文件，JVM可以在各种不同的JVM上运行。因此，实现了它的跨平台特性。虽然这使得Java在早期非常缓慢，但是随着Java的开发，它已经得到了改进。
2.2 MySql数据库
MySql数据库具有轻便、稳定等特点，在系统的工程中对相关的数据操作，很好的保障数据的稳定，极大程度上减低了系统开发的时间。
MySql数据库支持多线程工作，能充分利用系统的资源，更具有效率且数据库连接也有对于的不同模式接口；MySql存储小、运行稳定并且对使用的要求不高。
利用MySql建立系统数据库，利于对系统的数据处理早期的整合，可以更好的发展后数据的扩展实际操作[3]。
Mysql数据库的特点如下：
（1）Mysql是相比于Oracle更轻量、更简洁便于使用，在服务部署方面相对复杂度低，更利于毕设系统的开发。
（2）支持多种操作系统包括AIX、FreeBSD、HP-UX、Linux和Mac OS、Novell‘s Netware、OpenBSD系统、OS/2卷、Solaris、Windows等。
（3）查询速度快。算法优化了查询语句，可靠地提高了搜索速度。
（4）Mysql可以使用Sql语言进行调用，学习成本较低。
（5）Mysql可支持互联网站数据共享也支持数据安全设置，防止数据泄露。
（6）高度非过程化。在访问数据库时，没有必要一步一步向计算机发送指令去完成任务，只需要用MySQL语句描述并且命令就可以了，数据库会自动完成全部工作。
2.3 Hadoop介绍
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。主要有以下优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（4）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
2.4 hive简介
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-Defined Function）、UDAF(User-Defined AggregateFunction)和UDTF（User-Defined Table-Generating Function），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。
2.5 B/S架构
Browser/Server简称（B/S），即：浏览器/服务器架构模式；属于WEB发展后的所出现的一种网络构造，而WEB又是主要的浏览器应用商品软件。B/S架构模式不仅将系统的重新开发、维修及利用等简单化，更将其重点放到了服务器上。它使客户端得到了统一，在服务器上汇集了系统功能的最核心部分。
B/S架构模式，在服务器接收到浏览器发出请求后将进行对应的回应。Internet上文本、图片、动画等信息主要由Web服务器产生，而用户主要是通过浏览器访问这些信息。在Web上下载程序时遇到某些和数据库相关的指令，可以将这些指令转接到数据库服务器来进行解释和执行。B/S架构工作流程图如2-1所示：
图2-1 B/S架构工作流程图
2.6 Spring boot框架
现如今后台开源框架主流的有SSH、SSM、SpringBoot，但是SSH、SSM框架的环境配置项较多，而SpringBoot主要的设计思想就是约定大于配置，故而SpingBoot在设计时几乎达到零配置。SpringBoot整合了业界上的开源框架。具体采用技术框架描述如下：
（1）Mybatis：Mybatis：提供自动映射，动态SQL，级联，缓存，注解，代码和SQL分离等特性，使用方便，同时也对SQL进行优化。
（2）SpringMVC：通过一套MVC注解，让POJO成为处理请求的控制器，无需实现任何接口，同时，SpringMVC还支持REST风格的URL请求。
（3）SpringBoot：从本质上来说，Spring Boot就是Spring,它做了那些没有它你也会去做的Spring Bean配置。
SpringBoot是一款非常强大后台框架，因为SpringBoot开发时可以基本不用写配置文件，所以使用SpringBoot搭建网站的后台环境，在SpringBoot的yml配置文件中写入项目启动端口，项目就可以启动。项目的Java文件还有静态文件都是由SpringBoot来管理。