参考《Python+Spark 2.0+Hadoop机器学习与大数据实战_林大贵(著) 清华大学出版社》
一、创建与查看HDFS目录
常用的hdfs命令:
- hadoop fs -mkdir 创建HDFS目录
- hadoop fs -ls 列出HDFS目录
- hadoop fs -copyFromLocal 复制本地文件到HDFS
- hadoop fs -put 复制本地文件到HDFS
- hadoop fs -cat 列出HDFS目录下的文件内容
- hadoop fs -copyToLocal 将HDFS上的文件复制到本地
- hadoop fs -get 将HDFS上的文件复制到本地(local)
- hadoop fs -cp 复制HDFS文件
- hadoop fs -rm 杉树HDFS文件
(1)创建user目录
先打开hadoop集群,输入start-all.sh
hadoop fs -mkdir /user
如果出现mkdir: Cannot create directory /user. Name node is in safe mode.
需要输入hadoop dfsadmin -safemode leave
离开安全模式,才可以创建目录
(2)在user目录下创建hduser子目录
hadoop fs -mkdir /user/hduser
(3)在hduser目录下创建test子目录
hadoop fs -mkdir /user/hduser/test