企业大数据仓库建设实践
仰望星空的我
仰望星空,脚踏实地。
展开
-
案例:恒丰银行——大数据实时流处理平台
恒丰银行于2016年1月完成了传统数据仓库向大数据平台数据仓库的迁移,以新的数据仓库平台为基础,结合行内的通用文件传输平台、统一调度平台,规范了源数据系统的数据报送,梳理构建了新的数据模型,大数据平台解决了传统数仓在批量数据处理能力的不足,在相关任务上体验到了从数小时到十几分钟的提升。大数据平台解决了大数据特征中四个V的大数据量(Volume)的处理,我们还需要引入实时处理技术能覆盖数据多样性...转载 2019-03-05 16:56:44 · 1092 阅读 · 0 评论 -
Sqoop操作实践
Sqoop操作实践Sqoop常用参命令序号 命令/command 类 说明1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中2 export ExportTool 将HDFS中的数据导入到关系型数据库中3 codegen CodeGenTool 获取数据库中某张表数据生...转载 2019-03-11 10:34:40 · 216 阅读 · 0 评论