大数据处理流程

Q：

大数据处理的流程是什么，需要对应掌握哪些技能？

A：

1、数据采集

    flume：数据采集与聚合

2、数据清洗

    对脏数据进行清洗

    spark、Hive、MR、或其他

    清洗之后可以存放到HDFS（Hive、Spark SQL）

3、数据处理

    按照业务逻辑处理数据

    spark、Hive、MR、或其他    

4、处理结果入库

    结果可以存放到RDBMS、NoSQL

5、数据可视化

    图形化展示，饼图、柱状等

    ECharts、HUE、Zeppelin

补充：

任务的自动化运行需要azkaban等工具做自动化管理。