etl
果木
这个作者很懒,什么都没留下…
展开
-
ETL技术入门之ETL初认识
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求原创 2014-07-10 23:11:10 · 139904 阅读 · 25 评论 -
kettle入门(三) 之kettle连接hadoop&hdfs图文详解
最详细的kettle连接hadoop&hdfs图文教程原创 2014-12-11 09:53:06 · 62988 阅读 · 13 评论 -
数据仓库之ETL漫谈-实战总结理论
ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。 大多数据仓库的数据架构可以概括为:数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。 一、数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中。 1. 源数据类型:转载 2014-12-15 20:47:26 · 6325 阅读 · 1 评论 -
kettle入门(二) 之 kettle连接oracle报的坑爹错误 Error occured while trying to connect to the database 的几种情况
在用kettle开发时常会出现 Error occured while trying to connect to the database 错误,但是仔细观察日志,引起这个错误的原因不尽相同原创 2014-12-05 17:29:29 · 79045 阅读 · 1 评论 -
kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示
kettle的转换ktr里有一个图元叫做合并记录可以把数据记录分为源和目的根据唯一标示 进行全量比对,原创 2015-08-01 14:57:56 · 61847 阅读 · 9 评论 -
kettle入门(六) 之kettle抽取变量表名表
kettle抽取变量表名表Job原创 2015-05-17 23:00:41 · 30585 阅读 · 1 评论 -
kettle入门(五) 之kettle抽取gz格式文本详细案例
ods平台的一个很简单的数据共享需求:运营商的某个部门每天定时送gz格式的HLR文本数据到FTP服务器的固定目录下。然后ods每天定时去取然后录入到RDBMS的表中 看,开放给其他系统查询调用,这种称作数据库表接口。原创 2015-05-16 21:07:16 · 10278 阅读 · 2 评论 -
kettle入门(四) 之kettle取昨天时间&设置任意时间变量案例
数据仓库中ETL工具 kettle中取任意时间变量的使用,最灵活的时间变量取值、格式原创 2015-04-28 19:16:18 · 85117 阅读 · 12 评论 -
kettle入门(一) 之kettle连接oracle rac 报listener does not currently know of sid错误的解决
kettle连接oracle rac 报listener does not currently know of sid错误的解决原创 2014-10-10 15:23:05 · 22345 阅读 · 2 评论 -
greenplum(三) gp工具命令及工具函数语句,持续更新.....
1 命令行导入文本数据到表psql -d bass_gp -h 10.243.4.145 -p 5432 -U dwadm -c "\copy dwtmp.tmp_test(cellid) from /data/22.txt "bass_gp 是数据库名及database名10.243.4.145 ip地址 5432 是端口号dwadm 账号2原创 2018-02-01 21:53:26 · 4448 阅读 · 0 评论