大数据相关较好的项目

项目一：宁波今日新闻网热点分析系统
    软件架构：Flume+KafKa+Hbase+Hive+Spark+Mysql+SpringMVC+Mybatis+AugularJs+Echarts

项目描述：

 在当今的社会，每天都会发生很多事情，每天都有很多的新闻报道，为了能够在这么大量的新闻及大量的点击阅读量中获取一些有价值的信息，以便于在不同的时间段投放不同类型的新闻，管理新闻的投放时间，从而提高新闻的投放质量，因此开发了这个宁波今日新闻网热点分析系统。

在这个系统开发中，使用了flume完成日志采集。编写kafka消费端脚本，消费从flume传过来的消息。之后Kafka与spark集成，把spark的输入源设为kafka，通过编写代码进行数据的实时处理。把处理完的数据通过网页展示出来。离线方面就把Hive集成了HBase同步了HBase中的数据，然后在Hive中进行各种离线数据分析。

责任描述：

1. 编写Spark Streaming程序进行实时数据处理
2. 编写HiveSQL进行离线数据分析
3. 数据的采集传输

项目二：快联网站流量日志分析系统
    软件架构： Flume+ Hadoop+ Hive+ sqoop+MySQL+ SSM+ echarts+azkaban

项目描述：

    随着业务的不断发展，网站有越来越多的点击流量，但是这些流量中又有多少转化为公司实际收益呢，还有流量来 源等，为了解决这些问题，让公司更好更快地发展，我们开发了该系统。该系统可以对网站流量日志进行多维度的分 析，并通过网页显示成图表来帮助公司高层来进行决策。

首先利用flume进行数据采集；然后编写mr程序进行数据的预处理；建立数据仓库把预处理之后的数据导入到 数据仓库中利用HiveSQL进行数据分析；用sqoop导出结果到MySQL中；编写一个基于SSM框架的web工程引 入Echarts把数据以成图表的形式展现出来。

责任描述：

1. 负责数据的采集传输;
2. 对数据进行预处理去除和整理杂乱的数据；
3. 编写Hive SQL语句来进行数据分析；

一、本地宝系统模块实时分析平台

1.项目描述: 该项目依托本地宝综合性门户网站系统建立, 主要是根据访客的浏览点击行为, 完成网 站各模块的综合性分析。通过实时监控访客的行为来获取访客行为数据, 并经过数据采集, ETL 清洗, 指标数据分析汇总等处理后, 进而进行一系列的指标值实时展示, 实现各模块的 流量数据可视化, 为网站的模块及内容调整优化提供一系列的数据和指标.

2.技术架构: flume+kafka+spark+redis+hdfs+hive+mysql+sqoop

3.责任描述:

1) 使用 SparkStreaming 从 kafka 拉取数据并进行业务处理;

2) 使用 redis 进行数据缓存处理;

3) 使用 hive 进行离线数据分析, 并通过 sqoop 将数据导出至 MySql 中

二、本地宝综合日志管理平台

1.项目描述: 通过对上线的各个业务系统的运行情况进行日志内容监控, 并设置过滤筛选规则对内 容进行匹配, 当内容触发规则时, 进行分类匹配, 从而进行相应的告警信息周期性发送, 以 及时对问题及信息进行处理, 保证系统的运行情况能够被及时监控及掌握

2.技术架构: flume+kafka+spark+redis+mysql

3.责任描述:

1) 使用 flume 完成数据采集及下沉

2) 使用 spark 完成数据的规则匹配, 完成异常数据的处理

3) 部署 kafka 完成消息数据的中转

三、本地宝实时推荐系统

1.项目描述： 该系