大数据离线日志流程分析

大数据离线日志分析流程：

       flume是常用的大数据日志收集工具，是一个日志采集框架，主要有三大块组成，即：source(采集数据，channel是一个传输通道，将scource采集来的数据传输给sink,sink负责将数据存储到hdfs分布式存储系统上边)。

       sqoop是一个hadoop和关系型数据库之间数据导入导出的一个工具，讲hdfs上的数据传递到mysql或者oracle称为导入，反之称为导出。

     一般流程为：

           通过日志采集和从mysql数据库中抽取业务数据，然后讲数据统一存储到hdfs上清洗数据，然后加载数据，分析数据，也就是我们hive中的hql语句开发，分析后的数据导出到关系型数据库中，统计数据之后讲数据实现可视化，也就是公司领导能看懂的数据表格，可以是柱状图，折线图等等。具体可以看下图流程分析图：