【计算机毕业设计】基于Hadoop短视频流量数据分析与可视化

该系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将短视频流量数据分析与可视化管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功能模块的设计也便于以后的系统升级和维护。该系统采用了软件组件化、精化体系结构、分离逻辑和数据等方法。
该系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将短视频流量数据分析与可视化管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功能模块的设计也便于以后的系统升级和维护。该系统采用了软件组件化、精化体系结构、分离逻辑和数据等方法。
2.1 Java介绍
Java语言正式诞生于1995年，是由SUN公司开发研制的OAK语言发展而来的。Java语言继承了OAK语言可跨平台运行的特点，融合了面向对象编程的风格，JAVA以其独有的开放性、跨平台性和面向网络的交互性席卷全球，以其安全性、易用性和开发周期短的特点，迅速从最初的编程语言发展成为全球第一大软件开发平台.广受时下程序开发人员的好评[3]。后来又为了丰富Java语言的用途，提高生产力，将它进行设计和改造，以满足更多地开发和应用场景。经过改造后，它可以满足移动端开发，桌面应用开发和企业级应用开发。Java语言还为用户提供了丰富的类库，在掌握它的特性后，学习特定的工具包，就可以满足很多场景的开发。现在来看，Java语言在这三种平台的应用开发中，都占据了举足轻重的地位。
与其他语言相比，Java语言具有很多的优点，Java语言简单比较容易理解，有c语言的基础很容易就可以学会，中文和英文的学习资源也比较多，而且Java语言经过许多年的沉淀发展，逐渐演变出很多成熟的框架技术。企业还还可以封装自己的框架，让开发变得简单。它还具有跨平台性较其他语言这一个最大的优势，这意味着它只需要一次编译就可以运行在其他平台上。
2.2 Hadoop介绍
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。主要有以下优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（4）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
2.3 Scrapy介绍
Scrapy是一个抓取系统数据和提取结构化数据的框架，它可以应用在广泛的应用中:Scrapy通常用于一系列应用，包括数据挖掘、信息处理或存储历史数据。使用Scrapy框架实现一个爬虫程序通常非常简单，抓取给定系统的内容或图像。
虽然Scrapy是为屏幕抓取(或者更准确地说是网页抓取)而设计的，但它也可以用于访问api以提取数据。
2.4 MySql简介
它以其优秀的性能、强大的功能以及良好的扩展性受到越来越多的关注。目前，国内已经有很多企业采用了该系统进行管理，取得了很好的效果。随着网络技术的发展。MySQL是最流行的关系型数据库管理系统之一，我的SQL是WEB应用应用程序中最好的RDBMS（Relational Database Management System）应用程序之一。MySQL是一个关系型数据库管理系统，在这个系统中，关系数据库将数据存储在不同的表中，而不是全部存储在一个大仓库中，从而提高了速度和灵活性。
在信息管理中，对于数据库的应用也日益广泛，不仅有效对信息管理的质量进行了提升，也进一步提升了信息管理的安全性，让信息管理更加高效[6]。SQL Server是一种关系数据库管理系统，它能提供超大型系统所需的数据库服务。大型服务器可能有成千上万的用户同时连接到 SQL Server实例。
我的SQL使用的SQL语言是访问数据库最常用的标准化语言。它可以通过简单操作实现复杂查询功能，并且具有良好的可扩展性和可维护性等优点。随着网络技术的不断发展，ASP.NET成为目前互联网上最为流行的Web应用之一。MySQL软件采用双授权政策，分为社区版版本和商业版。由于其体积小，速度快，总体拥有成本低，特别是开放源码，MySQL用作中小型网站发展的网站数据库。
2.5 SPRINGBOOT框架
Spring Boot是由Pivotal的开发团队在2013年开发的一个免费、轻量级、开源的系统框架。SpringBoot的主要设计思想是约定大于配置，因此SpringBoot在设计时几乎达到零配置。SpringBoot集成了业界的开源框架。
SpringBoot是一个非常强大的后台框架，因为SpringBoot的开发基本上不需要写配置文件，所以利用SpringBoot来构建网站的后台环境，在SpringBoot的YML配置文件中写项目启动端口，项目就可以启动了。项目的Java和静态文件由SpringBoot管理。
2.6 B/S架构
B/S（Browser/Server,浏览器/服务器）模式，是一种架构模式，属于WEB发展后的所出现的一种网络构造，而WEB又是主要的浏览器应用商品软件。B/S架构模式不仅将系统的重新开发、维修及利用等简单化，更将其重点放到了服务器上。它使客户端得到了统一，服务器上集中了系统功能的最关键部分。
B/S架构的工作模式是浏览器发出请求后服务器进行相应的响应。Internet上文本、图片、动画等信息主要由Web服务器产生，而用户主要是通过浏览器访问这些信息。在Web服务器上下载程序时，如果在下载过程中遇到某些与数据库相关的指令，可以将这些指令交给数据库服务器来解释、进行执行。B/S架构工作流程图如2-1所示：
图2-1 B/S架构工作流程图
2.7 Tomcat简介
Tomcat是Java Servlet，JavaServerPages，Java Expression Language和JavaWebSocket（Java EE）技术的开源实现。因为可以通过HTTP提供HTML页面等静态内容的请求访问，所以是一个WEB服务器。
Tomcat 目录结构作用如表2-1所示
表2-1 tomcat目录结构表
序号 目录名称 作用
1 bin 存放启动和关闭tomcat脚本
2 conf 存放不同的配置文件（server.xml和web.xml）
3 doc 存放Tomcat文档
4 lib 存放Tomcat运行需要的库文件（JARS）
5 logs 存放Tomcat执行时的LOG文件
6 src 存放Tomcat的源代码
7 webapps Tomcat的主要Web发布目录（包括应用程序示例）
8 work 存放jsp编译后产生的class文件







基于Hadoop短视频流量数据分析与可视化系统在经过系统的开发后，已经成功完成搭建。在搭建过程中，最开始的工作是从查阅相关资料开始的，通过在互联网的短视频流量数据分析与可视化系统资料查询和阅读，对整个短视频流量数据分析与可视化系统有了整体的概念了解，然后对本短视频流量数据分析与可视化系统进行分析设计，本次短视频流量数据分析与可视化系统的诉求是实现用户的基本需求，所以在设计时，整个系统功能模块十分简洁，系统为管理员和用户两大模块。在系统具体实现过程中，先把系统数据库搭建，然后进行功能模块的代码编译，最后将所有模块进行整合，形成完整的短视频流量数据分析与可视化系统。最后对系统进行了测试，测试结果符合预期。
系统仍然存在很多不足，各环节的流程没有做到非常精密的联系，逻辑上还有漏洞。从这些问题中吸取经验教训积累宝贵。