基于Hadoop和SparkSQL大数据日志分析与可视化设计

博主介绍：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌

下载地址

基于Hadoop和SparkSQL大数据日志分析与可视化设计

系统说明

编号	功能名称	功能描述	输入内容	输出内容
1	数据清洗	将数据进行清洗，从大量的数据中筛选出重要的字段	原始日志文件	需要的数据格式
2	数据格式转换	对数据格式进行转换，转换成格式文件	第一次清洗后的日志	Parquet格式文件
3	数据分析	对格式文件进行读取并分析	Parquet文件	分析统计结果
4	数据库存储	将分析和统计结果写入到数据库中	分析统计结果	数据库数据
5	可视化数据读取处理	将mysql数据库中的数据读并转换成前端需要的格式	Mysql数据库表数据	前端需要的数据块
6	数据可视化	将数据转换成图表	数据结果	直观图表

环境需要

1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。
2.IDE环境：IDEA，Eclipse,Myeclipse都可以。推荐IDEA;
3.tomcat环境：Tomcat 7.x,8.x,9.x版本均可
4.硬件环境：windows 7/8/10 1G内存以上；或者 Mac OS； 
5.数据库：MySql 5.7版本；
6.是否Maven项目：否；

技术栈

1. 后端：Spring+SpringMVC+Mybatis
2. 前端：JSP+CSS+JavaScript+jQuery

使用说明

1. 使用Navicat或者其它工具，在mysql中创建对应名称的数据库，并导入项目的sql文件；
2. 使用IDEA/Eclipse/MyEclipse导入项目，Eclipse/MyEclipse导入时，若为maven项目请选择maven;
若为maven项目，导入成功后请执行maven clean;maven install命令，然后运行；
3. 将项目中springmvc-servlet.xml配置文件中的数据库配置改为自己的配置;
4. 运行项目，在浏览器中输入http://localhost:8080/ 登录

运行截图

 用户管理控制层:

package com.houserss.controller;

import javax.servlet.http.HttpSession;

import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import o