编程实践全程按照林子雨老师hadoop3.1.3的教程来的:
MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客http://dblab.xmu.edu.cn/blog/2481-2/
运行中存在如下几个问题:
1)上传文件到HDFS结果报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
解决方法:
vi ~/.bashrc
export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native
参考:
2)在hdfs创建目录报错mkdir: `input': No such file or directory
这肯定不是文件名打错了呀,咱们是创建文件又不是删除文件,怎么会存在找不到文件的问题
所以,推测是hdfs dfs -mkdir input中的命令出了问题。
经过搜索,以下博客验证了这一猜测,只需将hdfs dfs -mkdir input加一个-p即可:
hdfs dfs -mkdir -p input
参考: