大数据业务流程总结

介绍

最近在接触大数据相关的知识，大概总结了一下整个大数据业务的流程

一：数据源

数据的来源

关系型数据库

 订单表、用户表、地址信息

日志文件

用户行为数据

打开了哪些页面（网页、App），点击了页面上哪些按钮

二：数据采集

常用数据采集导入框架

sqool：用于RDBMS与HDFS之间数据导入与导出

flume：采集日志文件数据，动态采集日志文件，数据流

              flume采集到的数据，一份给HDFS，用于做离线分析；一份给Kafka，实时处理

 kafka:主要用于实时的数据流处理

 flume与kafka都有类似消息队列的机制，来缓存大数据环境处理不了的数据

三：数据存储

常用数据存储框架

HDFS

Hive

HBase

四：数据清洗

即对数据进行过滤，得到具有一定格式的数据源

常用框架（工具）

MapReduce、Hive（ETL）、SparkCore

五：数据分析

对经过数据清洗后的数据进行分析，得到某个指标

常用框架（工具）

MapReduce、Hive、SparkSQL、impala

六：数据展示

即将数据分析后的结果展示出来，也可以理解为数据的可视化

以图或者表具体的形式展示出来

常用工具

Javaweb、帆软、hcharts、echarts