【Kettle】集成大数据进行操作

• 准备大数据环境

从hadoop下载核心配置文件

sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml 
sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml

 

把hadoop核心配置文件放入kettle目录

data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514

 

修改Hadoop Distribution

 

创建Hadoop clusters

 

• HDFS – excel

Kettle在Big data分类中提供了一个Hadoop file input 组件用来从hdfs文件系统中读取数据，把数据输入到Excel中。

数据格式：

1,张三
2,李四
3,王五

 

拖拽一个Hadoop file input 输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

 

配置Hadoop file input 输入组件

 

配置Excel输出组件

 

点击三角形箭头执行

 

• excel– HDFS

Kettle在Big data分类中提供了一个Hadoop file output 组件用来向hdfs文件系统中保存数据

 

拖拽一个Excel输入组件、一个Hadoop file output 输出组件、并按住Shift拖动鼠标连接两个组件

 

配置Excel输入组件

 

配置Hadoop file output 输出组件

 

点击三角形箭头执行