Apache hadoop 学习(二)-HDFS-Shell

重点熟悉记录 HDFS 常见命令。内存机器不够,hdfs可单节点安装和yarn也可单节点安装,可参考官网。

https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html

安装配置相关的参数很多..

新建一个账号运行hdfs,yarn等。

hdfs 解决了文件存储问题,yarn解决了资源调度问题。

单节点安装yarn:不要用root账号运行yarn,否则报错。

关于hdfs的相关测试如下:

#所有命令 在bin目录下运行,在任何目录下都可以运行，自己设置环境变量。
#查看命令帮助文档
./hdfs dfs -help

#查看单个命令ls详情使用方法
./hdfs dfs -help ls

#查看根目录下
./hdfs dfs -ls /

#创建目录
./hdfs dfs -mkdir -p  /user/stu01

#上传本地文件到hdfs指定目录下
./hdfs dfs -put text.txt /user/stu01/

#显示文章内容
./hdfs dfs -cat /user/stu01/text.txt

#打印文件内容
./hdfs dfs -text /user/stu01/text.txt

#剪切本地文件到hdfs目录
./hdfs dfs -moveFromLocal text2.txt  /user/stu01/

#从本地文件追加到hdfs文件末尾
./hdfs dfs -appendToFile  text.txt  /user/stu01/text.txt

#修改文件权限
./hdfs dfs -chmod 755 /user/stu01

#修改所属用户组和用户
./hdfs dfs -chown -R hive:hive  /user/stu01

#从hdfs cp一个文件 到hdfs另外一个目录
./hdfs dfs -cp /user/stu01/text2.txt /user/
#删除hdfs文件
./hdfs dfs -mv /user/stu01/text2.txt 
#从hdfs 移动一个文件到另外一个hdfs目录
./hdfs dfs -mv /user/text2.txt /user/stu01/

#get 从hdfs 下载文件到本地
./hdfs dfs -get /user/stu01/text2.txt 
#合并下载多个文件
./hdfs  dfs  -getmerge  /user/stu01/*  ./merge.txt

#查看可用空间
./hdfs dfs-df -h /
#查看文件夹大小
./hdfs  dfs  -du  -s  -h /user/stu01
#统计目录下节点数量
./hdfs  dfs  -count -v /user/stu01

2.测试MR 程序运行在yarn上面。

 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/stu01/ /user/stu01/output1

   错误日志，因为主机名修改不到位 找了半天。

  logs                 --记录运行节点日志

  logs/userlogs  --记录容器创建的日志，报错找不到原因，可以看看这个目录下的日志。