etl 常用数据类型转换 元数据配置说明

最新推荐文章于 2024-07-17 23:02:31 发布
最新推荐文章于 2024-07-17 23:02:31 发布
阅读量693 收藏 19
点赞数 29
分类专栏： ETL Hadoop 物联网 文章标签： etl 数据仓库 物联网 hadoop golang mysql sqlserver
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_1574/article/details/140467121
版权
ETL 同时被 3 个专栏收录
14 篇文章 1 订阅
订阅专栏
物联网
13 篇文章 0 订阅
订阅专栏
Hadoop
2 篇文章 0 订阅
订阅专栏

在实施etl过程中，经常会遇到不同类型之间的转换，方式有很多种，下面是项目中使用etl-engine进行数据类型转换的收集整理，方便日后工作中查阅。
etl-engine转换的方式有多种，一种是通过sql语句直接转换（比较方便），另一种是通过在输出节点的beforeout 标签中嵌入go脚本对相应字段按业务要求进行转换（功能强大），下面只介绍第一种情况。

元数据Metadata配置说明

元数据文件定义目标数据格式（如输出节点中定义的renameOutputFields或renameOutputTags所对应的字段名称及字段类型）
outputFields是输入节点中数据结果集中的字段名称， 将outputFields定义的字段转换成renameOutputFields定义的字段，其renameOutputFields转换格式通过元数据文件来定义。

属性说明适合
id唯一标示
field
name输出数据源的字段名称renameOutputFields,
renameOutputTags
type输出数据源的字段类型string,int,int32,float,
str_timestamp,decimal,
datetime,timestamp,bool,blob
default默认值当nullable为false时，如果输出值为空字符串，则可以通过default来指定输出的默认值
nullable是否允许为空false是不允许为空，必须和default配合使用。true是允许为空。
通过增加一个field并设置nullable为true可以实现增加字段功能。
errDefault如果输入数据向输出数据类型转换失败时，是否启动默认值如果设置值,则转换出错时也能向下执行,即出错的值使用该默认值,
如果不设置该值,则转换出错时不能向下执行。
dataFormat对日期输出格式的配置string -> datetime 或 datetime -> string 需要配置日期格式
日期格式配置如: YYYY-MM-DD hh:mm:ss 或YYYY-MM-DD hh:mm:ssZ+8h
dataLen对小数位格式的配置string -> decimal 格式设置输出数字小数点位数,代表保留小数点后几位 ; 或 输出string类型时 格式设置代表输出内容的总长度

样本

 <Metadata id="METADATA_01">
<!--    <Field name="time" type="str_timestamp" default="-1" nullable="false" errDefault=""/>-->
<!--    <Field name="time" type="string" default="-1" nullable="false" errDefault=""/>-->

    <Field name="c1" type="int32" default="-1" nullable="false" errDefault="" dataFormat="" />
<!--    <Field name="c2" type="decimal" default="-1" nullable="false" errDefault="" dataFormat="" />-->
    <Field name="c2" type="float" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="c3" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="c4" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="tag_1" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="tag_2" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="tag_3" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    <Field name="tag_4" type="string" default="-1" nullable="false" errDefault="" dataFormat="" />
    
<!--    <Field name="writetime" type="datetime" default="" nullable="true" errDefault="" dataFormat="YYYY-MM-DD hh:mm:ssZ+8h"/> -->
    
  </Metadata>

mysql

字符串类型 转换 日期类型

源数据库字符串string目标数据库日期datetime
mysql2023-01-01 10:11:12mysql元数据输出字段无需特殊配置 type=“datetime”
mysql2023-01-01 10:11:12sqlserver元数据输出字段无需特殊配置 type=“datetime”
mysql2023-01-01 10:11:12postgres元数据输出字段无需特殊配置 type=“datetime”
mysql2023-01-01 10:11:12oracle元数据输出字段无需特殊配置 type=“datetime”

日期类型 转换 字符串类型

源数据库日期datetime目标数据库字符串string
mysql2023-01-01 10:11:12mysql元数据输出字段无需特殊配置 type=“string”
mysql2023-01-01 10:11:12sqlserver元数据输出字段无需特殊配置 type=“string”
mysql2023-01-01 10:11:12postgres元数据输出字段无需特殊配置 type=“string”
mysql2023-01-01 10:11:12oracle元数据输出字段无需特殊配置 type=“string”

日期类型 转换 日期类型

源数据库日期datetime目标数据库日期datetime
mysql2023-01-01 10:11:12mysql元数据输出字段无需特殊设置 type=“datetime” 有的情况需要配置+8小时 dataFormat=“YYYY-MM-DD hh:mm:ssZ+8h” dataLen=“19”
mysql2023-01-01 10:11:12sqlserver元数据输出字段无需特殊设置 type=“datetime”
mysql2023-01-01 10:11:12postgres元数据输出字段无需特殊设置 type=“datetime”
mysql2023-01-01 10:11:12oracle元数据输出字段无需特殊设置 type=“datetime”

mysql样本表

CREATE TABLE `t_source_1` (
  `f1` varchar(32) NOT NULL,
  `f2` varchar(32) DEFAULT NULL,
  `f3` int(11) DEFAULT NULL,
  `f4` varchar(32) DEFAULT NULL,
  `f5` datetime DEFAULT NULL
);
  
CREATE TABLE `t_target_1` (
  `c1` varchar(32) NOT NULL,
  `c2` varchar(32) DEFAULT NULL,
  `c3` int(11) DEFAULT '0',
  `c4` varchar(32) DEFAULT NULL,
  `c5` datetime DEFAULT NULL
);   

INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('1', 'a01', 1, '2022-07-10 23:20:22', '2022-07-10 23:20:22');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('10', '测试人员10', 10, '2022-07-10 23:20:13', '2022-07-10 23:20:13');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('11', '测试人员11', 11, '2022-07-10 23:20:14', '2022-07-10 23:20:14');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('12', '测试人员12', 12, '2022-07-10 23:20:15', '2022-07-10 23:20:15');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('13', '测试人员13', 13, '2022-07-10 23:20:16', '2022-07-10 23:20:16');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('14', '测试人员14', 14, '2022-07-10 23:20:17', '2022-07-10 23:20:17');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('15', '测试人员15', 15, '2022-07-10 23:20:18', '2022-07-10 23:20:18');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('16', '测试人员16', 16, '2022-07-10 23:20:19', '2022-07-10 23:20:19');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('17', '测试人员17', 17, '2022-07-10 23:20:20', '2022-07-10 23:20:20');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('18', '测试人员18', 18, '2022-07-10 23:20:21', '2022-07-10 23:20:21');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('19', '测试人员19', 19, '2022-07-10 23:20:01', '2022-07-10 23:20:01');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('2', 'a01', 2, '2022-07-10 23:20:23', '2022-07-10 23:20:23');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('20', '测试人员20', 20, '2022-07-10 23:20:02', '2022-07-10 23:20:02');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('3', 'c01', 3, '2022-07-10 23:20:24', '2022-07-10 23:20:24');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('4', 'd01', 4, '2022-07-10 23:20:25', '2022-07-10 23:20:25');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('5', 'e01', 5, '2022-07-10 23:20:26', '2022-07-10 23:20:26');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('6', 'f01', 6, '2022-07-10 23:20:27', '2022-07-10 23:20:27');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('7', 'g01', 7, '2022-07-10 23:20:28', '2022-07-10 23:20:28');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('8', 'h01', 8, '2022-07-10 23:20:29', '2022-07-10 23:20:29');
INSERT INTO t_source_1 (f1, f2, f3, f4, f5)
VALUES('9', 'i01', 9, '2022-07-10 23:20:12', '2022-07-10 23:20:12');

sqlserver

字符串类型 转换 日期类型

源数据库字符串string目标数据库日期datetime
sqlserver2023-01-01 10:11:12mysql元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ssZ+8h” dataLen=“19” 其实是模拟成sqlserver字符串格式转换成mysql日期格式进行入库
sqlserver2023-01-01 10:11:12sqlserver元数据输出字段设置 type=“datetime”
sqlserver2023-01-01 10:11:12postgres元数据输出字段设置 type=“datetime”
sqlserver2023-01-01 10:11:12oracle元数据输出字段设置 type=“datetime”

日期类型 转换 字符串类型

源数据库日期datetime目标数据库字符串string
sqlserver2023-01-01 10:11:12.000mysql元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DDThh:mm:ssZ+8h” dataLen=“19” 其实是模拟成sqlserver日期格式转换成mysql的日期格式进行入库
sqlserver2023-01-01 10:11:12.000sqlserver源数据查询语句中将日期字段如:f5 通过conver函数转换成YYYY-MM-DD HH:MI:SS格式 CONVERT(VARCHAR, f5, 120) as f5,元数据输出字段设置 type=“string”
sqlserver2023-01-01 10:11:12.000postgres源数据查询语句中将日期字段如:f5 通过conver函数转换成YYYY-MM-DD HH:MI:SS格式 CONVERT(VARCHAR, f5, 120) as f5,元数据输出字段设置 type=“string”
sqlserver2023-01-01 10:11:12.000oracle源数据查询语句中将日期字段如:f5 通过conver函数转换成YYYY-MM-DD HH:MI:SS格式 CONVERT(VARCHAR, f5, 120) as f5,元数据输出字段设置 type=“string”

日期类型 转换 日期类型

源数据库日期datetime目标数据库日期datetime
sqlserver2023-01-01 10:11:12.000sqlserver元数据输出字段设置 type=“string” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
sqlserver2023-01-01 10:11:12.000mysql元数据输出字段设置 type=“string” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
sqlserver2023-01-01 10:11:12.000postgres元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
sqlserver2023-01-01 10:11:12.000oracle元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”

样本表


CREATE TABLE  t_source_1  (
  f1  varchar(32) NOT NULL,
   f2  varchar(32) DEFAULT NULL,
  f3  integer DEFAULT '0',
  f4 varchar(32) ,
  f5 datetime
) ;

CREATE TABLE  t_target_1  (
  c1  varchar(32) NOT NULL,
  c2  varchar(32) DEFAULT NULL,
  c3  integer DEFAULT '0',
  c4 varchar(32),
  c5 datetime
) ;

日期转换字符串样本


<?xml version="1.0" encoding="UTF-8"?>
<Graph fileName="" desc="" runMode="2">
    <BeforeRun>
        <![CDATA[]]>
    </BeforeRun>
    <Node id="DB_INPUT_TABLE_1" type="DB_INPUT_TABLE" fetchSize="100" dbConnection="CONNECT_2" desc="" x="116" y="90" isLink="true" sortId="1">
        <Script name="sqlScript">
            <![CDATA[
			select f1,f2,f3,CONVERT(VARCHAR, f5, 120) as f4,f5   from t_source_1
			]]>
        </Script>
    </Node>

<!--
select f1,f2, f3,CONVERT(VARCHAR, f5, 120) as f5 from t_source_1
-->

    <Node id="DB_OUTPUT_TABLE_1" type="DB_OUTPUT_TABLE" batchSize="" dbConnection="CONNECT_2" outputFields="f1;f2;f3;f4;f5" renameOutputFields="c1;c2;c3;c4;c5"
	_renameOutputFields="c1;c2;c3;c4;c5" outputTags="" renameOutputTags="" rp="" measurement="" desc="" x="346" y="118" isLink="true" sortId="2">
        <Script name="sqlScript">
            <![CDATA[
			 insert into t_target_1 (c1,c2,c3, c4,c5) values (?,?,?,?,?)
			]]>
        </Script>
		<!-- 
		 insert into t_target_1 (c1,c2, c3,c5) values (:1,:2,:3,:4)
		insert into t_target_1 (c1,c2, c3,c4,c5) values ($1,$2,$3,$4,$5)
		insert into t_source_1 (f1,f2,f3,f4,f5) values (?,?,?,?,?)
		insert into t_source_1 (f1,f2, f3,f4,f5) values ($1,$2,$3,$4,$5)
		-->
    </Node>
    <Line from="DB_INPUT_TABLE_1" to="DB_OUTPUT_TABLE_1" type="STANDARD" order="0" metadata="METADATA_1" sortId="1" id="LINE_STANDARD_1"/>
    <Metadata id="METADATA_1" sortId="1">
        <Field name="c1" type="string" default="" nullable="true"/>
        <Field name="c2" type="string" default="" nullable="true"/>
        <Field name="c3" type="int" default="" nullable="true"/>
		<Field name="c4" type="string" _dataFormat="YYYY-MM-DD hh:mm:ss" _dataLen="18" nullable="true"/>
		<Field name="c5" type="string" dataFormat="YYYY-MM-DD hh:mm:ss" dataLen="19"  default="" nullable="true"/>

		 <Field name="f1" type="string" default="" nullable="true"/>
        <Field name="f2" type="string" default="" nullable="true"/>
        <Field name="f3" type="int" default="" nullable="true"/>
		<Field name="f4" type="string" _dataFormat="YYYY-MM-DDThh:mm:ssZ+8h" _dataLen="19"  default="" nullable="true"/>
		<Field name="f5"  type="string" dataFormat="YYYY-MM-DD hh:mm:ss" dataLen="19"  default="" nullable="true"/>


       
    </Metadata>
    <Connection sortId="1" id="CONNECT_1" type="MYSQL" dbURL="127.0.0.1:3306" database="db1" username="root" password="******" token="" org=""/>
	<Connection sortId="2" id="CONNECT_2" type="SQLSERVER" dbURL="127.0.0.1:1433" database="master" username="sa" password="******" token="" org=""/>
	<Connection id="CONNECT_3" dbURL="127.0.0.1:5432" database="postgres" username="hw_u1" password="******" batchSize="1000" type="POSTGRES" />
	<Connection id="CONNECT_4" dbURL="127.0.0.1:1521" database="orcl" username="hw_u1" password="******"  batchSize="1000" type="ORACLE" />
   

</Graph>

postgres

字符串类型 转换 日期类型

源数据库字符串string目标数据库日期datetime
postgres2023-01-01 10:11:12mysql元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ssZ+8h” dataLen=“19” 其实是模拟成pg字符串格式转换成mysql日期格式进行入库
postgres2023-01-01 10:11:12sqlserver元数据输出字段设置 type=“datetime”
postgres2023-01-01 10:11:12postgres元数据输出字段设置 type=“datetime”
postgres2023-01-01 10:11:12oracle元数据输出字段设置 type=“datetime”

日期类型 转换 字符串类型

源数据库日期datetime目标数据库字符串string
postgres2023-01-01 10:11:12.000mysql源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD HH:MI:SS格式,并加8小时 to_char(f5 + INTERVAL ‘8 hours’, ‘YYYY-MM-DD HH24:MI:SS’) as f5 ,元数据输出字段设置 type=“string”
postgres2023-01-01 10:11:12.000sqlserver源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD HH:MI:SS格式,to_char(f5 , ‘YYYY-MM-DD HH24:MI:SS’) as f5 ,元数据输出字段设置 type=“string”
postgres2023-01-01 10:11:12.000postgres源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD HH:MI:SS格式,to_char(f5 , ‘YYYY-MM-DD HH24:MI:SS’) as f5 ,元数据输出字段设置 type=“string”
postgres2023-01-01 10:11:12.000oracle源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD HH:MI:SS格式,to_char(f5 , ‘YYYY-MM-DD HH24:MI:SS’) as f5 ,元数据输出字段设置 type=“string”

日期类型 转换 日期类型

源数据库日期datetime目标数据库日期datetime
postgres2023-01-01 10:11:12.000mysql元数据输出字段设置 type=“string” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
postgres2023-01-01 10:11:12.000sqlserver元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
postgres2023-01-01 10:11:12.000postgres元数据输出字段设置 type=“string” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”
postgres2023-01-01 10:11:12.000oracle元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DDThh:mm:ss” dataLen=“19”

样本表


CREATE TABLE  t_source_1  (
  f1  varchar(32) NOT NULL,
   f2  varchar(32) DEFAULT NULL,
  f3  integer DEFAULT '0',
  f4 varchar(32) ,
  f5 timestamp
) ;

CREATE TABLE  t_target_1  (
  c1  varchar(32) NOT NULL,
  c2  varchar(32) DEFAULT NULL,
  c3  integer DEFAULT '0',
  c4 varchar(32),
  c5 timestamp
) ;

oracle

字符串类型 转换 日期类型

源数据库字符串string目标数据库日期datetime
oracle2023-01-01 10:11:12mysql元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ssZ+8h” dataLen=“19” 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12sqlserver元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ss” dataLen=“19” 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12postgres元数据输出字段设置 type=“datetime” 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12oracle元数据输出字段设置 type="datetime"注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据

日期类型 转换 字符串类型

源数据库日期datetime目标数据库日期string
oracle2023-01-01 10:11:12.000mysql源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式, to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5,元数据输出字段设置 type=“string”
oracle2023-01-01 10:11:12.000sqlserver源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式, to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5,元数据输出字段设置 type=“string”
oracle2023-01-01 10:11:12.000postgres源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式, to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5,元数据输出字段设置 type=“string”
oracle2023-01-01 10:11:12.000oracle源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式, to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5,元数据输出字段设置 type=“string”

日期类型 转换 日期类型

源数据库日期datetime目标数据库日期datetime
oracle2023-01-01 10:11:12.000mysql源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式, to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5,元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ssZ+8h” dataLen=“19” （这里加了8小时） 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12.000sqlserver源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式,to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5, 元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ss” dataLen=“19” （这里没加8小时） 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12.000postgres源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式,to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5, 元数据输出字段设置 type=“datetime” dataFormat=“YYYY-MM-DD hh:mm:ss” dataLen=“19” （这里没加8小时） 注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据
oracle2023-01-01 10:11:12.000oracle源数据查询语句中将日期字段如:f5 通过to_char函数转换成YYYY-MM-DD hh24:mi:ss格式,to_char(F5,‘YYYY-MM-DD hh24:mi:ss’) AS F5, 元数据输出字段设置 type="datetime"注意：由于oracle字段名称读出来是大写，因此要注意sql语句中字段大写,outputFields属性要设置大写,如outputFields=“F1;F2;F3;F4;F5”,否则读不出数据

样本表


CREATE TABLE  t_source_1  (
  f1  varchar2(32) NOT NULL,
   f2  varchar2(32) DEFAULT NULL,
  f3  integer DEFAULT '0',
  f4 varchar2(32) ,
  f5 timestamp
) ;

CREATE TABLE  t_target_1  (
  c1  varchar2(32) NOT NULL,
  c2  varchar2(32) DEFAULT NULL,
  c3  integer DEFAULT '0',
  c4 varchar2(32),
  c5 timestamp
) ;
weigeonlyyou
关注
  • 29
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据、数据仓库-元数据说明书.docx
12-13
元数据说明书详细地描述了数据的各个层面，确保数据的准确性和有效性。以下是元数据说明书的关键知识点： 1. **元数据的定义与分类**： - 元数据是关于数据的数据，它提供数据的描述、解释和背景信息。 - 元数据...
易智瑞不动产ETL数据治理工具.rar
03-10
例如，标准化地址格式、处理缺失值、去除重复项、转换数据类型等，以确保数据质量。 - **加载（Load）**: 清洗和转换后的数据最后会被加载到目标系统，如GIS数据库或不动产信息系统，供进一步分析和应用。 2. **...
ETL笔记——第六章 数据转换
haihaihai__的博客
11-01 1245
数据的清洗过程除了包括第5章提到的对数据本身的清洗与检验操作，还包括数据转换操作。数据转换是数据清洗过程的重要步骤之一，它的主要任务是进行不一致的数据转换、数据粒度的转换、以及一些商务规则的计算。
数据仓库ETL工具箱——元数据
will001449的博客
08-12 1303
由于ETL是数据仓库得核心，时常承担着管理和存储数据仓库大量元数据得职责。在数据仓库中ETL处理程序是元数据最重要得创建者——数据沿袭。数据沿袭追踪数据从源系统和文件中得请确位置直到最终被装载之前。数据血统包括数据库系统的数据定义和在数据参考古中最终静止状态。元数据分为后台元数据和前端元数据，后台元数据是与处理相关的，指导抽取清洗装载工作；前端元数据更偏向描述性和使我们的查询工具和报表工具更加稳定。后台将数据加载到数据仓库，同时指明数据来源，而前端元数据主要是为终端用户服务的，可以作为描述所有数据的业务数据
ETL&数据仓库复习
爱敲代码的小黑的博客
04-23 1073
文章目录ETL1.1、岗位所需技能点数据分析师2.1、岗位所需技能点数据仓库3.1、岗位所需技能点1、数据仓库1.1、数据仓库与数据库区别1.2、数据仓库分层架构1.3 、为什么要分层1.4、维度数据模型1.4.1、 简介1.4.2 维度数据模型的特点1.4.3 事实和维度1.4.4 维度数据模型建模过程(Kimball)1.4.4.1 选择业务流程1.4.4.2 声明粒度1.4.4.3 维度建模过程 - 确认维度1.4.4.4 维度建模过程 - 确认事实1.4.5 维度规范化1.4.6 星型模型1.4.
元数据是什么？如何管理元数据？
一个写湿的程序猿
05-04 9827
元数据是什么？如何管理元数据？01 什么是元数据？02 元数据的类型1. 业务元数据2. 技术元数据3. 操作元数据03 元数据管理的目标1. 建立指标解释体系2. 提高数据溯源能力3. 数据质量稽核体系04 元数据管理的技术1. 元数据采集2. 元数据管理3. 元数据应用4. 元数据接口 来源：大数据 01 什么是元数据？ 元数据（metadata）是关于数据的组织、数据域及其关系的信息，简言之，元数据就是描述数据的数据。概念总是生涩，下面举几个例子。 示例1：歌词中的元数据 有一首很多80后耳熟
元数据管理在数据仓库的实践应用.pdf
10-12
技术元数据则侧重于数据的技术属性，如数据格式、存储位置、数据类型、列名和长度等。它支持数据仓库的开发、维护和性能优化，帮助技术人员理解数据结构和处理流程，快速定位和解决问题。 3. 管理元数据： 管理元...
元数据管理在数据仓库的实践应用.docx
12-15
在实践中，数据仓库的元数据管理涉及抽取、存储和管理各种类型的元数据，如数据定义、转换规则、数据状态监控、ETL任务运行状态等。元数据管理系统通过元数据数据库统一存储这些信息，确保数据仓库的设计、部署、...
数据仓库ETL建设宝典
03-10
这一步骤可能包括错误数据修复、数据类型转换、缺失值处理等。 - **加载（Load）**：将转换后的数据加载到数据仓库或数据集市中，根据设计，可以是直接插入、追加或者替换现有数据。 3. **ETL工具**： 常见的ETL...
ETL数据集成丨主流ETL工具(ETLCloud、DataX、Kettle)数据传输性能大PK
RestCloud的博客
07-12 988
ETLCloud、DataX、Kettle三款ETL工具性能对比，ETLCloud在大数据量下传输速度最快，平均比Kettle快24.16%，比DataX快27.8%，且表现更稳定，成为大数据量下最快的数据集成工具。
ETL电商项目总结
liuzhiqiang66的博客
07-15 740
如电商公司，每天都有一些的用户会在线上采购商品，该电商公司想通过数据分析，查看每一天的电商经营情况。例如：电商公司的运营部门想要清楚的看到每天的订单笔数、订单的下单总额、不同支付类型对应的订单笔数和总额等等。
数据仓库实践：了解和定义指标
the_singing_towers的博客
07-15 205
指标 = 限定词+业务主题+指标名称+量化词根（统计粒度）限定词限定词就是用来对指标进行限定约束。比如：当天、本周、当月、平均、累计业务主题业务主题是用来描述业务在哪个过程阶段。比如：打开页面、下单、点击支付、支付成功、支付失败。指标名称指标名称就是指标要统计的对象实体名称。比如：订单、用户、材料、设备。量化词根量化词根通常以数字单位出现，明确表达这个指标的统计粒度。比如：数量、金额、次数、比率、占比。
如何建设和维护数据仓库：深入指南
最新发布
在路上的专栏
07-17 805
数据仓库是企业数据管理的核心，它不仅支持决策制定，还能提供深入的数据分析。本文将详细介绍如何从零开始建设和维护一个高效、可靠的数据仓库，涵盖设计、实施、监控和优化的全过程。通过具体的代码示例和最佳实践，帮助读者深入理解数据仓库的构建和管理。
数据仓库哈哈
Saniana的博客
07-09 1028
该层不需要一开始就设计，可以等DWD层设计的差不多了，或是写着写着发现DWD中有好多表都用到了共通的字段，有大量冗余数据，那么就可以将这部分共通的数据提取成一个表。shuffle操作会将完整的计算流程一分为二，会分为2个阶段（Stage）,前面一个阶段称之为Map阶段，后面的阶段称之为Reduce阶段，（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。shuffle中前一个阶段的任务不执行完，后面的阶段的任务不允许执行的，
ESP32——物联网小项目汇总
Irving.Gao的博客
07-06 1151
商品级ESP32智能手表 [文章链接] 用ESP32，做了个siri？！开源了！ [文章链接]
Richtek立錡小尺寸降压电源方案，应用于穿戴装置和物联网
Super_smartIC的博客
07-15 270
2.2V 至 5.5V 输入, 0.5A/1A(峰值) 降压转换器，仅有 360nA 静态电流, 提供 0.525V 至 4V 间 32 种固定输出，整体 PCB 尺寸 6.96mm2。：2.2V 至 5.5V 输入, 0.5A/1A(峰值) 降压转换器，仅有 360nA 静态电流, 提供 0.7V 至 3.3V 间 8 种可调输出，整体 PCB 尺寸 8mm2。立錡推出的低压输入、CSP 小封装降压转换器系列，不仅满足各式小型穿戴式和 IoT 物联网应用的需求，更在性能和尺寸上取得了绝佳平衡。
IOT 可编程控制系统
willemchen的博客
07-14 444
可编程控制系统 IOT（物联网）可编程控制系统，如GF-MAXCC等，是一种集成了多种先进技术和功能的智能化控制设备，它能够在物联网系统中发挥关键作用，实现对多种设备的集中管理和控制。
Hadoop3：MR程序优化的相关参数介绍
Brave_heart4pzj的博客
07-17 238
Hadoop
数据仓库中的ETL流程与元数据关键
数据仓库中的ETL和元数据是构建和管理高效数据分析环境的核心组件。ETL（Extract, Transform, Load）是一个不可或缺的过程，它涉及数据的三个关键步骤：抽取、转换和装载。这个过程旨在从企业的多个源系统中收集数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值