大数据项目：新闻日志大数据处理系统

Big-Data-Project

Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts

项目名称：新闻日志大数据处理系统

项目简介

github开源
源码：https://github.com/changeforeda/Big-Data-Project
目标

1、完成大数据项目的架构设计，安装部署，架构继承与开发、用户可视化交互设计

2、完成实时在线数据分析

3、完成离线数据分析

具体功能

1）捕获用户浏览日志信息

2）实时分析前20名流量最高的新闻话题

3）实时统计当前线上已曝光的新闻话题

4）统计哪个时段用户浏览量最高

5）报表

项目技术点

Hadoop2.x、Zookeeper、Flume、Hive、Hbase

Kafka、Spark2.x、SparkStreaming

MySQL、Hue、J2EE、websoket、Echarts

开发工具

虚拟机： VMware、centos

虚拟机ssh: SecureCRT（在windows上链接多个虚拟机）

修改源码：idea

查看各种数据：notepad++（安装NppFTP插件，修改虚拟机中配置文