hive中实现行转列_Kettle（PDI）转换中转换之行转列详解

最新推荐文章于 2024-05-27 15:01:27 发布

Joy瑞

最新推荐文章于 2024-05-27 15:01:27 发布

阅读量290

点赞数

文章标签： hive中实现行转列

本文链接：https://blog.csdn.net/weixin_31439191/article/details/112421748

版权

本文介绍了如何使用Rownormaliser步骤将数据库中栏目的每月访问量数据从行格式转换为列格式，通过MySQL示例展示配置过程和步骤。涉及的关键步骤包括设置字段映射和使用COUNT函数计算每个栏目每月的访问次数。

摘要由CSDN通过智能技术生成

概述

Row normaliser(行转列)此步骤将输入流的行转换为列。可以使用此步骤对列的重复组进行规范化。

选项

行转列

Row normaliser(行转列))步骤有以下选项：

Step name(步骤名称)：在画布上指定Row normaliser(行转列)步骤的唯一名称。您可以自定义名称或将其保留为默认名称。

Type field(Type字段)：指定输出数据中的新列的名称。

字段

Fieldname(字段名称)：要规范化的字段的名称。

Type(Key值)：指定用于对字段进行分类的字符串。

new field(Value字段)：指定要在其中传输新值的字段。

Get Fields(获取字段)：检索流中传入的所有字段的列表。

示例

示例采用一个栏目的每月访问量统计数据为基础演示数据，把栏目每月访问量一行数据转换以月为列的多行数据。

/*栏目每月访问量统计表*/DROP TABLE IF EXISTS `catalog_traffic`;CREATE TABLE `catalog_traffic` (  `catalogid` VARCHAR(10) NOT NULL COMMENT '栏目编号',  `catalogname` VARCHAR(20) DEFAULT NULL COMMENT '栏目名称',  `month1` BIGINT DEFAULT 0 NOT NULL COMMENT '1月访问量',  `month2` BIGINT DEFAULT 0 NOT NULL COMMENT '2月访问量',  `month3` BIGINT DEFAULT 0 NOT NULL COMMENT '3月访问量',  `month4` BIGINT DEFAULT 0 NOT NULL COMMENT '4月访问量',  `month5` BIGINT DEFAULT 0 NOT NULL COMMENT '5月访问量',  `month6` BIGINT DEFAULT 0 NOT NULL COMMENT '6月访问量',  `month7` BIGINT DEFAULT 0 NOT NULL COMMENT '7月访问量',  `month8` BIGINT DEFAULT 0 NOT NULL COMMENT '8月访问量',  `month9` BIGINT DEFAULT 0 NOT NULL COMMENT '9月访问量',  `month10` BIGINT DEFAULT 0 NOT NULL COMMENT '10月访问量',  `month11` BIGINT DEFAULT 0 NOT NULL COMMENT '11月访问量',  `month12` BIGINT DEFAULT 0 NOT NULL COMMENT '12月访问量',  PRIMARY KEY (`catalogid`)) ENGINE=INNODB DEFAULT CHARSET=utf8;insert  into `catalog_traffic`(`catalogid`,`catalogname`,`month1`,`month2`,`month3`,`month4`,`month5`,`month6`,`month7`,`month8`,`month9`,`month10`,`month11`,`month12`) values ('1','栏目1',166,676,8009,445,9900,909,909,345687,78734,7676,34434,3434);insert  into `catalog_traffic`(`catalogid`,`catalogname`,`month1`,`month2`,`month3`,`month4`,`month5`,`month6`,`month7`,`month8`,`month9`,`month10`,`month11`,`month12`) values ('2','栏目2',767,676,545,454,9009,334,557,9033,343,56565,2323,34443);

1.建立数据库连接对象

示例采用mysql数据库作为示例，首先下载mysql驱动https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47，然后放在在文件夹data-integrationlib下。然后重启Spoon。如果已经添加过mysql驱动，则可由忽略此步骤。

切换至主对象树，双击DB连接。