关于大数据T+1执行流程

最新推荐文章于 2023-06-20 15:01:04 发布

weixin_30338461

最新推荐文章于 2023-06-20 15:01:04 发布

阅读量3.2k

点赞数

文章标签：大数据数据库

原文链接：http://www.cnblogs.com/DFX339/p/11552665.html

版权

本文介绍了大数据T+1执行流程，包括从ORACLE、MYSQL、SQLSERVER数据源汇总到HIVE，编写HIVE脚本处理数据，结果数据抽取到结果库，使用OOZIE定义调度，以及通过HUE配置工作流和定时任务。最后，文章提到了使用Saiku进行数据可视化配置。

摘要由CSDN通过智能技术生成

关于大数据T+1执行流程

前提：搭建好大数据环境（hadoop hive hbase sqoop zookeeper oozie hue）

1.将所有数据库的数据汇总到hive (这里有三种数据源 ORACLE MYSQL SEQSERVER)

全量数据抽取示例：

ORACLE（注意表名必须大写！！！）

sqoop import --connect jdbc:oracle:thin:@//10.11.22.33:1521/LPDR.china.com.hh --username root --password 1234 \
--table DATABASENAME.TABLENAME --hive-overwrite --hive-import --hive-database bgda_hw --hive-table lp_tablename \
--target-dir /user/hadouser_hw/tmp/lp_tablename --delete-target-dir \
--null-non-string '\\N' --null-string '\\N' \
--hive-drop-import-delims --verbose --m 1