课程笔记：3-大数据-hadoop-hdfs常用命令

课程笔记：3-大数据-hadoop-hdfs常用命令

启动

1、一键启动、停止

# 一键启动hdfs集群，在node1执行
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh

# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

2、独立启动、停止

hdfs --daemon stop namenode
hdfs --daemon stop datanode
hdfs --daemon stop secondarynamenode

hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode

3、文件操作基础命令

hadoop命令（老版本用法），用法：hadoop fs [generic options]
hdfs命令（新版本用法），用法：hdfs dfs [generic options]

#查看文件夹
hadoop fs -ls  /
hdfs dfs -ls /home
#创建文件夹
hadoop fs -mkdir -p /home/bigdata
hdfs dfs -mkdir -p /home/hadoop/test
#上传文件
hdfs dfs -put test.txt /home/hadoop/test
#强制上传，使用全命令
hdfs dfs -put -f file:///home/hadoop/test.txt hdfs://node1:8020/home/hadoop/test
#查看文件
hdfs dfs -cat /home/hadoop/test/test.txt
#分页查看文件
hdfs dfs -cat  /home/hadoop/test/test.txt | more
#下载文件并重命名为test-get.txt
hdfs dfs -get /home/hadoop/test/test.txt /home/hadoop/test-get.txt
#拷贝文件
hadoop fs -cp /home/hadoop/test/test.txt /home/hadoop/test/test-copy.txt
#移动文件
hadoop fs -mv /home/hadoop/test/test.txt /home/hadoop/test/test-mv.txt
#删除文件
hadoop fs -rm /home/hadoop/test/test-mv.txt
跳过回收站，直接删除
hadoop fs -rm  -skipTrash  /home/hadoop/test/test-mv.txt
 

注意：删除时
回收站功能默认关闭，如果要开启需要在core-site.xml内配置：

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
 
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>

无需重启集群，在哪个机器配置的，在哪个机器执行命令就生效。
回收站默认位置在：/user/用户名(hadoop)/.Trash

4、存储副本
可以在hdfs-site.xml中配置如下属性：

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

块大小可以通过参数：

  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
    <description>设置HDFS块大小，单位是b</description>
  </property>

命令：

#上传文件，临时指定副本数量
hadoop fs -D dfs.replication=2 -put test.txt /home/hadoop/liuyuhui/
#查看文件副本情况
hdfs fsck /home/hadoop/liuyuhui/test.txt  -files -blocks -locations
#修改副本数量
hadoops fs -setrep -R 1 /home/hadoop/liuyuhui/test.txt

4、命令官方指导文档
https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

5、总结

上一篇：课程笔记：2-大数据-hadoop安装配置
下一篇：4-大数据：yarn部署