kettle中mysql数据导hdfs

一、建立一个driver

 

 导入KAR文件，文件路径如下：

 导入成功后后显示如下界面：

注意：这个步骤后要重启kettle! ! !否则后面连接hadoop时不显示Driver 

二、连接hadoop 

 

 

 Browse to add file(s)的文件路径如下所示，导入hdfs和hive的一些配置文件：

 成功后的界面如下所示，只需要看hadoop是否成功即可，其他不用管！ 

 

至此 ，各种准备工作已建立完毕。

 三、新建转换：表输入（mysql）---Hadoop 输出

 表输入需要设置的如下：

 hadoop的输出如下：

 

 

 

四、最后保存运行即可 。

五、注意事项（报错） 

1.如果运行后出现如下错误：

2.解决办法：修改 hdfs 中的文件夹的权限 

hdfs dfs -chmod -R 777 /home

3.假如你使用的是一个全新的路径，是不会报权限错误的。