大数据常用操作指令

#mkdir test

#mkdir -p user/root

d) rmdir 删除一个空的目录

#mkdir test

#rmdir test

e) touch 创建空文件

#touch test.java

f) cd 切换目录

（1）cd 绝对路径

（2）cd 相对路径

（3）cd ~或者cd （功能描述：回到自己的家目录）

（4）cd - （功能描述：回到上一次所在目录）

（5）cd … （功能描述：回到当前目录的上一级目录）

使用绝对路径切换到root目录

#cd /root

使用相对路径切换到root目录

#cd ./root/

表示回到自己的家目录，亦即是 /root 这个目录

#cd ~

cd- 回到上一次所在目录

#cd -

表示回到当前目录的上一级目录，亦即是 /root 的上一级目录的意思；

#cd …

g) cp 复制文件或目录

复制文件

#cp test.java test

递归复制整个文件夹

#cp -r test test1

h) 移除文件或目录

l 删除空目录

#rmdir test

l 递归删除目录中所有内容

#rm -rf test1

i) mv 移动文件与目录或重命名

l 重命名

#mv test.java test1.java

l 移动文件或目录

#mv test1.java test1

j) cat 查看文件内容

# cat test.txt

k) more 查看文件内容

查看文件内容，一页一页的显示文件内容。

#more test1.java

l) less 查看文件内容

less 的作用与 more 十分相似，都可以用来浏览文字档案的内容，不同的是 less 允许使用[pageup] [pagedown]往回滚动。

#less test1.java

m) echo 命令

echo $SHELL

n) history查看所敲命令历史

#history

3) 时间日期类命令

a) 4.5.3.1 date显示当前时间

#date

b) date设置系统时间

l 基本语法：

date -s 字符串时间

#date -s “2019-10-19 10:52:18”

4) 用户管理类命令

a) useradd 添加新用户

#user hadoop

b) passwd 设置用户密码

#passwd hadoop

c) id 判断用户是否存在

#id hadoop

d) su 切换用户

#su hadoop

e) userdel 删除用户

（1）删除用户但保存用户主目录

#userdel hadoop

（2）删除用户和用户主目录，都删除

#userdel –r hadoop

f) who 查看登录用户信息

1）基本语法

（1）whoami （功能描述：显示自身用户名称）

（2）who am i （功能描述：显示登录用户的用户名）

（3）who （功能描述：看当前有哪些用户登录到了本台机器上）

g) tar解压

tar打包

1）基本语法：

tar+参数+XXX.tar.gz+将要打包进去的内容

（功能描述：打包目录，压缩后的文件格式.tar.gz）

参数：

-c 产生.tar打包文件

-v 显示详细信息

-f 指定压缩后的文件名

-z 打包同时压缩

-x 解包.tar文件

2）案例

（1）压缩：tar -zcvf XXX.tar.gz n1.txt n2.txt

压缩多个文件

#tar -zcvf test.tar.gz test1.java test.java

压缩目录

#tar -zcvf test.java.tar.gz test1

（2）解压：tar -zxvf XXX.tar.gz

解压到当前目录

#tar -zxvf test.tar.gz

解压到/opt目录

#tar -zxvf test.tar.gz –C /opt

2、HFDS命令行操作基本语法

bin/hdfs dfs 具体命令

或 hadoop fs 具体命令，建议使用hdfs dfs

3、参数大全

bin/hdfs dfs

| -help 功能：输出这个命令参数手册 |

| — |

| -ls 功能：显示目录信息 示例： hdfs dfs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hdfs dfs -ls / 等同于上一条命令的效果 |

| -mkdir 功能：在hdfs上创建目录 示例：hdfs dfs -mkdir -p /aaa/bbb/cc/dd |

| -moveFromLocal 功能：从本地剪切粘贴到hdfs 示例：hdfs dfs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd -moveToLocal 功能：从hdfs剪切粘贴到本地 示例：hdfs dfs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt |

| –appendToFile 功能：追加一个文件到已经存在的文件末尾 示例：hdfs dfs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt 可以简写为： Hdfs dfs -appendToFile ./hello.txt /hello.txt |

| -cat 功能：显示文件内容 示例：hdfs dfs -cat /hello.txt -tail 功能：显示一个文件的末尾 示例：hdfs dfs -tail /weblog/access_log.1 -text 功能：以字符形式打印一个文件的内容 示例：hdfs dfs -text /weblog/access_log.1 |

| -chgrp -chmod -chown 功能：linux文件系统中的用法一样，对文件所属权限 示例： hdfs dfs -chmod 666 /hello.txt hdfs dfs -chown someuser:somegrp /hello.txt |

| -copyFromLocal 功能：从本地文件系统中拷贝文件到hdfs路径去 示例：hdfs dfs -copyFromLocal ./jdk.tar.gz /aaa/ -copyToLocal 功能：从hdfs拷贝到本地 示例：hdfs dfs -copyToLocal /aaa/jdk.tar.gz |

| -cp 功能：从hdfs的一个路径拷贝hdfs的另一个路径 示例： hdfs dfs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 -mv 功能：在hdfs目录中移动文件 示例： hdfs dfs -mv /aaa/jdk.tar.gz / |

| -get 功能：等同于copyToLocal，就是从hdfs下载文件到本地 示例：hdfs dfs -get /aaa/jdk.tar.gz -getmerge 功能：合并下载多个文件 示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,… hdfs dfs -getmerge /aaa/log.* ./log.sum |

| -put 功能：等同于copyFromLocal 示例：hdfs dfs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 |

| -rm 功能：删除文件或文件夹 示例：hdfs dfs -rm -r /aaa/bbb/ -rmdir 功能：删除空目录 示例：hdfs dfs -rmdir /aaa/bbb/ccc |

| -df 功能：统计文件系统的可用空间信息 示例：hdfs dfs -df -h / -du 功能：统计文件夹的大小信息 示例： hdfs dfs -du -s -h /aaa/* |

| -count 功能：统计一个指定目录下的文件节点数量 示例：hdfs dfs -count /aaa/ |

| -setrep 功能：设置hdfs中文件的副本数量 示例：hdfs dfs -setrep 3 /aaa/jdk.tar.gz <这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量> |

4、常用命令举例

（1）-help：输出这个命令参数

#hdfs dfs -help rm

（2）-ls: 显示目录信息

# hdfs dfs -ls /

（3）-mkdir：在hdfs上创建目录

# hdfs dfs -mkdir -p /aaa/bbb/cc/dd

（4）-rm：删除文件或文件夹

# hdfs dfs -rm -r /aaa/bbb/

（5）-rmdir：删除空目录

# hdfs dfs -rmdir /aaa/bbb/ccc

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

目录

# hdfs dfs -mkdir -p /aaa/bbb/cc/dd

（4）-rm：删除文件或文件夹

# hdfs dfs -rm -r /aaa/bbb/

（5）-rmdir：删除空目录

# hdfs dfs -rmdir /aaa/bbb/ccc

[外链图片转存中…(img-tJ8dcrIw-1714504241124)]
[外链图片转存中…(img-2wEkGrrI-1714504241125)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！