大数据处理流程

Q:

大数据处理的流程是什么,需要对应掌握哪些技能?

A:

1、数据采集

    flume:数据采集与聚合

2、数据清洗

    对脏数据进行清洗

    spark、Hive、MR、或其他

    清洗之后可以存放到HDFS(Hive、Spark SQL)

3、数据处理

    按照业务逻辑处理数据

    spark、Hive、MR、或其他    

4、处理结果入库

    结果可以存放到RDBMS、NoSQL

5、数据可视化

    图形化展示,饼图、柱状等

    ECharts、HUE、Zeppelin

补充:

任务的自动化运行需要azkaban等工具做自动化管理。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值