开启集群
- start-dfs.sh
关闭集群
- stop-dfs.sh
- stop-all.sh 全部关闭
三种Shell命令方式:
hadoop fs | 适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统。 |
---|---|
hadoop dfs 和 hdfs dfs | 用法相同,只能适用于HDFS文件系统。 |
hadoop常用命令
创建
创建目录
# –mkdir
# 创建目录
hdfs dfs –mkdir /文件
递归创建
# -mkdir -p
# 递归创建
hdfs dfs -mkdir -p /hdfs/fs
查看
查看目录
# -ls
# 查看目录
hdfs dfs –ls /
查看文件
# -cat
# 查看文件
hdfs dfs –cat /文件 # (绝对路径)
查看数据
# head
# 查看前几行数据
hdfs dfs –cat /文件 | head -5
# tail
# 查看后几行数据
hdfs dfs –cat /文件 | tail -5
搜索文件
# -find
# 从根目录下精确搜索文件,返回查找的文件路径
hdfs dfs -find / -name 要搜索的文件名
# 从指定目录下搜索名称中包含ex字符串的文件
hdfs dfs -find /指定的目录 -name "ex"
查看文件夹的大小信息
# -du
# 查看文件夹的大小信息
hdfs dfs -du /文件路径
hdfs dfs -du -h /文件 ( -h 文件大小转化显示)
统计目录下文件夹数量 文件数量 目录下文件总字节数。
# -count
# 统计目录下文件夹数量 文件数量 目录下文件总字节数。
hdfs dfs -count /要统计的目录
# 结果每列含义:==目录数 文件数 总大小(字节) 目录名称
wc命令
# 查看文件行数
hdfs dfs –cat /文件 | wc -l
wc命令统计指定文件中的行数、字数、字节数,并将统计结果显示输出
# wc命令的用法:
hdfs dfs –cat /文件 | wc -参数
- 命令参数:
- 命令参数:
- -c 统计字节数。
- -l 统计行数。
- -m 统计字符数。
- -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
- -L 打印最长行的长度。
- 查看前几行数据
hdfs dfs –cat /文件 | head -5- 查看后几行数据
hdfs dfs –cat /文件 | tail -5
文件操作
本地文件上传到hdfs下的test目录
# -put
# 本地文件上传到hdfs下的test目录
hdfs dfs –put /文件 /test
从hdfs上把文件复制到本地 -get
# -get
# 从hdfs上把文件复制到本地 -get
hdfs dfs -get /hdfs文件 /本地文件存放路径
hdfs中移动文件和目录
# -mv
# 移动文件和目录
hdfs dfs -mv /源目录 /目标目录
从HDFS的一个路径拷贝到HDFS的另一个路径
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
064)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!