kettle:mysql数据导入hdfs详细教程及常见问题

新建-->转换   输入-->表输入    Big Date-->Hadoop file output

 

 

 

 

 重新启动kettle,进入之后：

 

添加hive下的conf下的五个.xml文件 

 

 

 

 第一个连上就可以了

 

 

 

 

 

 如果你使用了hdfs自带的文件夹，比如/home，会报没有权限的错误

2024/09/12 09:48:08 - Hadoop file output.0 - Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/home":root:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:504)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:336)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:242)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1939)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1923)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1882)

 解决办法：修改hdfs中文件夹的权限

hdfs dfs -chmod -R 777 /home

如果你使用的是一个全新的路径，是不会报权限错误的

再次运行，数据转换成功

 

假如报：无法读取 hdfs://bigdata01:9820/home/aaaa 的问题

1、查看本地是否配置了 HADOOP_HOME 的环境变量

2、spoon.bat 中是否添加了 utf8 字符集