数据仓库
MCmumu5651
这个作者很懒,什么都没留下…
展开
-
Pig 与 Hive 的区别
Hive : 将数据存储到 HDFS ,通过接近于 标准SQL(并非标准SQL) 的方式来简化 MapReduce 的开发模式,更适用于数据仓库。延伸: 什么是数据仓库?数据库与数据仓库有什么区别? Pig : 一种编程语言,是为了简化 MapReduce 开发过中调用 javaApi 的代码量。...原创 2018-03-13 11:30:27 · 244 阅读 · 0 评论 -
ETL
ETL : 从 数据库或者文本文件 中抽取 数据 到 数据仓库 的过程。指标:关联、转换、增量、调度和监控抽取方式: 全量抽取:类似于数据迁移。 增量抽取: 触发器:源表数据的 insert,update,delete动作触发写入一个临时表,只对临时表的数据进行抽取。缺点:会对业务数据库造成一定压力。 时间戳:通过时间字段锁定抽取范围,有的数...原创 2018-03-13 13:08:54 · 347 阅读 · 1 评论