kettle将本机文件上传到HDFS

kettle将本机文件上传到HDFS

如果用的是apache的Hadoop的话选择Cloudera Hadoop

**1、**将NODE02的core-site.xml、hdfs-site.xml放入
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510
data-integration——Kettle的安装路径

**2、**启动Kettle(即Spoon.bat)新建一个作业

3、点击主对象树，并添加一个Hadoop clusters

**4、**输入对应的参数
这里需要对hosts(C:\Windows\System32\drivers\etc\hosts)进行过修改才可以输入NODE02

点击测试如果结果是下面这样就成功连上HDFS了

**5、**在HDFS上创建一个kettle文件夹并给予权限

hdfs dfs -mkdir /kettle
hdfs dfs -chmod 777 /kettle

6、点击核心对象里的Big Data在主页面上拖入Hadoop Copy Files

右键Hadoop Copy Files并点击编辑作业入口

**7、**进行一些配置

• 源文件/目录这一项配置的是想要上传的文件的路径
• 配置完成点击确定

8、在核心对象的通用下拖入START，然后按住Shift连接到Hadoop Copy Files，执行即可