大数据应用——HDFS常用命令_hdfs cat命令，46道面试题带你了解高级大数据开发面试

---

开启集群

• start-dfs.sh

关闭集群

• stop-dfs.sh
• stop-all.sh 全部关闭

---

三种Shell命令方式：

hadoop fs	适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。
hadoop dfs 和 hdfs dfs	用法相同，只能适用于HDFS文件系统。

---

hadoop常用命令

创建

创建目录

–mkdir

创建目录

hdfs dfs –mkdir /文件

递归创建

-mkdir -p

递归创建

hdfs dfs -mkdir -p /hdfs/fs

---

查看

查看目录

-ls

查看目录

hdfs dfs –ls /

查看文件

-cat

查看文件

hdfs dfs –cat /文件 # (绝对路径)

查看数据

head

查看前几行数据

hdfs dfs –cat /文件 | head -5

tail

查看后几行数据

hdfs dfs –cat /文件 | tail -5

搜索文件

-find

从根目录下精确搜索文件,返回查找的文件路径

hdfs dfs -find / -name 要搜索的文件名

从指定目录下搜索名称中包含ex字符串的文件

hdfs dfs -find /指定的目录 -name “ex”

查看文件夹的大小信息

-du

查看文件夹的大小信息

hdfs dfs -du /文件路径
hdfs dfs -du -h /文件 ( -h 文件大小转化显示)

统计目录下文件夹数量 文件数量 目录下文件总字节数。

-count

统计目录下文件夹数量 文件数量 目录下文件总字节数。

hdfs dfs -count /要统计的目录

结果每列含义：==目录数 文件数 总大小（字节） 目录名称

---

wc命令

查看文件行数

hdfs dfs –cat /文件 | wc -l

wc命令统计指定文件中的行数、字数、字节数，并将统计结果显示输出

wc命令的用法：

hdfs dfs –cat /文件 | wc -参数

• 命令参数：

• 命令参数：
• -c 统计字节数。
• -l 统计行数。
• -m 统计字符数。
• -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
• -L 打印最长行的长度。
• 查看前几行数据
  hdfs dfs –cat /文件 | head -5
• 查看后几行数据
  hdfs dfs –cat /文件 | tail -5

---

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-fID8Knml-1712574672200)]