转型大数据及操作流程

大数据转型
关系型数据库------------ > 大数据平台

数据库：MySQL/Oracle/SQLSERVER ------------ >HDFS/HBASE/HIVE/KUDU
日志：LOG------------>HDFS/HBASE/HIVE/KUDU

工作流程：
1、数据同步工具
SQOOP1/2          -- http://sqoop.apache.org
FLUME                -- http://flume.apache.org
KAFKA                -- http://kafka.apache.org

2、存储第一次落地
HADOOP(HDFS)    --  http://hadoop.apache.org
HBASE                  --  http://hbase.apache.org
HIVE                     --  http://hive.apache.org
KUDU                    --  http://kudu.apache.org

3、代码编写 计算 作业 job
HADOOP(MR2)
HIVE(SQL)
SPARK
FLINK

4 、资源调度和作业调度
HADOOP(YARN)

5、计算结果存储
HADOOP(HDFS)      -- http://hadoop.apache.org
HBASE                    -- http://hbase.apache.org
HIVE                       -- http://hive.apache.org
KUDU                      -- http://kudu.apache.org

Redis
ElasticSearch
MySQL
...........

6、可视化 报表
echarts
superset
saiku
...........

7、提供对外服务REST,API

8、JOB调度 调度工具
shell/python脚本
crontab
rundeck

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2154422/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2154422/