平台架构案例

项目名称：用户上网行为分析系统 

软件架构：kafka+hadoop+sqlite+hbase+hive +sqoop 

开发环境：eclipse + mysql + maven+ ssm

项目描述：

通过大数据技术实现基于浏览器的用户历史记录分析，用于监控互联网企业网络安全和提高员工工作效率。实时监

控企业网络安全，对敏感信息进行过滤，控制员工网络访问点和速度；分析员工的工作效率，给出合适的意见。

架构图：

开发步骤： 

1.通过 java+sqlite 解析浏览器历史记录文件，把文本数据传输给kafak，在 kafak 的消费者端将数据写 入到HDFS-HA 

2.通过spark on yarn，及sparkMllib的协同过滤等算法进行敏感信息分析 

3.spark将分析的结果实时存入到redis中,，

4.采用MR 对HDFS-HA中的数据进行简单的ETL 

5.把历史数据全量写入到hive 中，使用HQL进行数据转换 

6.把hive 中的数据和hbase进行对接，每天增量更新,按天进行分表操作 

7.hive 数据仓库设计，主题抽取，维度分析，分析历史数据，最后把每天分析的结果存放到hbase 中， 供给也没进行查询操作 

8.sqoop将DWM 层的数据导出到Mysql（按月统计），然后用echart进行展示。 

9.sqlite 保存原始数据，redis保存经 spark 计算数据，mysql保存统计分析数据，mongodb 保存活跃 度用户数据，hbase保存按维度分析的数据

 

 

 

项目名称：电商用户行为分析查询平台 

软件架构：spring+springmvc+mybatis+maven 

开发环境：idea+大数据生态系统+mysql 

项目描述： 电商平台为了更好分析用户行为，通常都会对用户在平台中的行为进行采集与分析，该系统就是模 拟数据从生成-采集-存储-分析-展示这种经典的离线处理模型。

 

开发步骤： 

1. 模拟生成数据，使用生产者-消费者模式，每分钟生成一批数据，批量写入文件中。 

2. Flume分别监控两台节点上的目录，然后将数据写入flume-3中，最后将数据写入HDFS中 

3. 利用MR进行数据清洗 

4. 清洗后将明细数据写入HBASE，并对数据按天进行会中，导入Hive,按天统计平台的PV,UV 

5. 利用sqoop将数据写入mysql 

6. 使用SSM技术，查询用户数据，按月汇总的数据通过mysql查询，明细数据通过hbase 查询。