big data tools 远程连接hdfs的步骤及问题总结

big data tools 远程连接hdfs的步骤及问题总结

1. 连接步骤

参考文章：https://blog.csdn.net/qq_44930688/article/details/105758757

问题一 Hdfs Unable to load native-hadoop library

说明： 这个问题就是表示我们本地系统没有hadoop环境，缺少winutils.exe程序，我们需要在自己的电脑上安装一下这个插件,并且配置好hadoop的环境变量

注意：winutils.exe的版本号一定要和使用的hadoop版本号保持一致！！！有两种解决方式：

1. 下载地址1：https://github.com/steveloughran/winutils
2. 下载地址2：https://gitee.com/sujemson/winutils

参考文章： https://blog.csdn.net/luomo0203/article/details/122116326

问题二 Home info is not found

说明： 这个问题可以说是big data tools 的一个小bug，它需要远程连接的hdfs节点的内容不能为空，所以在远程的hdfs创建一个文件夹就好了