Kettle转换到hadoop

测试SQL部分

Mysql测试部分

CREATE DATABASE peng;

CREATE TABLE `test` ( `id` int(11) DEFAULT NULL, `name` text, `count` text, `color` text );

UPDATE `peng`.`test` SET name = 'LiSi' WHERE count = '3'; DELETE FROM `peng`.`test` WHERE count = '3'; INSERT INTO `peng`.`test` (`id`, `name`, `count`, `color`) VALUES (1, 'ZhangSan', '3', '666'); INSERT INTO `peng`.`test` (`id`, `name`, `count`, `color`) VALUES (2, 'LiSi', '4', '777'); INSERT INTO `peng`.`test` (`id`, `name`, `count`, `color`) VALUES (3, 'WangWu', '5', '888'); INSERT INTO `peng`.`test` (`id`, `name`, `count`, `color`) VALUES (4, 'aaaaaa', '6', '999');

使用步骤

peng.person表如下

建立转换关系 表输入à hadoop file output

建立表输入配置

建立hadoop file output配置

hadoop配置 hadoop fs -mkdir  /kettle hadoop fs -touch  /kettle/testkt.txt hadoop fs -touch  /kettle/testkt.txt hadoop fs -chmod 777 /kettle hadoop fs -chmod -R 777 /kettle

把hadoop服务器上的配置文件core-site.xml 复制到 Kettle-data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514\core-site.xml

执行kettle转换

验证kettle转换结果