hadoop shell命令参数说明

最新推荐文章于 2024-05-30 11:07:40 发布
最新推荐文章于 2024-05-30 11:07:40 发布
阅读量130 收藏
点赞数
文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq3553685/article/details/129289749
版权

参考文档：https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
du
使用方法：hadoop fs -du URI [URI …]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。
示例：
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
返回值：
成功返回0，失败返回-1。

第一列：该目录下总文件大小

第二列：该目录下所有文件在集群上的总存储大小和你的副本数相关，副本数是3 ，则第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

第三列：查询的目录

Wen Yu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop Shell命令
weixin_43844908的博客
09-14 133
提示安全模式 mkdir: Cannot create directory /input. Name node is in safe mode. 开关安全模式、查看安全模式状态： hdfs dfsadmin -safemode get //查看状态 hdfs dfsadmin -safemode enter //进入安全模式 hdfs dfsadmin -safemode get //查看状态 hdfs dfsadmin -safemode leave //退出安全模式 hdfs dfsadmi
Hadoop命令总结
小强签名设计 的博客
08-20 3374
文章目录一、hadoop fs命令二、yarn相关命令 一、hadoop fs命令 查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more 统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509 查看hdfs中文件的前n行：hadoop fs -text file | head -n 100 查看hdfs中文件的后n行
hadoop文件查询指令
fangfanglovezhou的博客
01-07 2375
查看文件大小： hadoop fs -du -s -h,其中-s和-h为可选参数，-h表示会选择合适的单位（KB,MB,GB,TB）显示文件大小，若不加的话不过多大显示的都是文件占多少Bytes。-s表示如果查看文件夹，不加-s则会显示各个文件的大小，加-s则只会显示文件大小的总和。 hadoop fs -test <path>: 解决关于文件路径path的各种问题，可选参数： 1. -d ：如果path为目录返回0。 2. -e : 如果path存在返回0。 3. -f ：如果path..
Hadoop参数汇总
qq_36864672的博客
03-01 752
默认实现是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback, 若是JNI有效，它将发挥做用，使用Hadoop的API去获取user的groups列表。在有些场景下，特别是对一些大的，而且不可能重用的数据，缓存在操做系统的缓存区是无用的。可使用8进制数字也可使用符号，例如："022" (8进制，等同于以符号表示的u=rwx,g=r-x,o=r-x)，或者"u=rwx,g=rwx,o="(符号法，等同于8进制的007)。
HDFS，HADOOP常见参数
橘子汽水的博客
06-08 246
HDFS命令基本格式：hadoop fs -cmd < args >获取参数信息 ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 put 命令 hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在，否则命令不会执行 hadoop fs -put < local file ..
Hadoop shell命令
m0_56350931的博客
04-10 321
删除目录：hadoop fs –rm 目录路径 //如果目录不为空需要递归删除，即在-rm后面加-r。上传本地文件：hadoop fs -put 本地文件路径 hdfs目录路径。列出目录和文件：hadoop fs –ls 需要列出的目录路径。移动文件或目录：hadoop fs –mv 文件或目录的路径。查看文件：hadoop fs –cat 要查看的文件路径。创建目录：hadoop fs –mkdir 目录路径。删除文件：hadoop fs –rm 文件路径。基本格式都是 hadoop fs -操作。
Hadoop Shell 常用命令
m0_67391121的博客
08-16 268
其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。命令的使用者必须是文件的所有者或者超级用户。保存NameNode的主要数据结构到hadoop.log.dir属性指定的目录下的文件中。...
Hadoop Shell常用命令
晓晓的天空
02-24 1843
Hadoop Shell常用命令
hadoop-docker：hadoop docker
02-12
hadoop-docker前言本项目使用docker-compose在单机上快速构建hadoop进行，方便基于hadoop的开发与测试。快速启动1.准备本地需要提前安装 && 2.创建 hadoop容器将分为主机和从属两个类型，其中master容器中运行...
hadoop2.2.0部署
06-29
3.2 hadoop基本shell命令 19 3.3 简单JAVA实例 20 4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 配置spark的启动参数 21 4.5 启动并验证spark是否配置 21 5 搭建zookeeper集群 ...
hio:与 Hadoop HDFS 交互的命令行实用程序
05-30
目录参考 哲学及其运作方式我们努力尽可能地模仿现有的 Unix CLI 工具，例如在 hio 命令及其各自参数的名称和语义方面。 话虽如此，在某些情况下，由于技术原因或上游限制（例如 HDFS），我们可能无法实现这一目标...
【HDFS篇02】HDFS命令行操作1
08-04
完成永远比完美重要HDFS的Shell操作基本语法常用命令大全启动Hadoop集群-help：输出这个命令参数-ls: 显示目录信息-moveFromLocal
hadoop put命令的格式_hadoop Shell命令详解
weixin_28913019的博客
12-24 1536
调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI路径详解点击这里。1、cat说明：将路径指定文件的内容输出到stdout。用法：hadoop fs -cat URI [URI …]范例：hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2...
hadoop 之 libhdfs
zhixingheyi_tian的博客
05-27 358
【代码】hadoop 之 libhdfs。
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习 知识图谱 大数据
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-28 423
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习 知识图谱 大数据
【大数据】Hadoop 2.X和1.X升级优化对比
Joker_ZJN的博客
05-29 1960
一文详解hadoop 2.X版本对于1.X版本做出的优化和升级
处理大数据的关键技术？
最新发布
喜欢猪猪
05-30 1061
处理大数据涉及多种技术和工具，这些技术和工具各有其专长，能够解决大数据处理中的不同问题。
hdfs shell命令
09-22
### 回答1： HDFS Shell是Hadoop分布式文件系统（HDFS）的命令行接口。以下是一些HDFS Shell命令的例子： 1. 查看HDFS文件系统的根目录： ``` hadoop fs -ls / ``` 2. 在HDFS文件系统中创建一个目录： ``` hadoop fs -mkdir /mydirectory ``` 3. 将本地文件上传到HDFS文件系统中的目录中： ``` hadoop fs -put /local/path/to/file /hdfs/path/to/directory ``` 4. 从HDFS文件系统中下载文件到本地： ``` hadoop fs -get /hdfs/path/to/file /local/path/to/file ``` 5. 删除HDFS文件系统中的文件或目录： ``` hadoop fs -rm /hdfs/path/to/file hadoop fs -rm -r /hdfs/path/to/directory ``` 6. 在HDFS文件系统中复制文件或目录： ``` hadoop fs -cp /hdfs/path/to/source /hdfs/path/to/destination ``` 7. 查看HDFS文件系统中文件或目录的内容： ``` hadoop fs -cat /hdfs/path/to/file hadoop fs -tail /hdfs/path/to/file ``` 以上只是一些常用的HDFS Shell命令，还有许多其他命令可以使用。 ### 回答2： HDFS Shell命令是在Hadoop分布式文件系统（HDFS）中使用的命令行界面工具。它提供了一种方便直接访问和操作HDFS的方法，可以在终端或命令行中执行。 HDFS Shell命令通常以"hadoop fs"或"hdfs dfs"作为前缀，后跟具体的命令和参数。它们可以用于创建、复制、删除、移动和查看文件和目录等操作。 以下是一些常用的HDFS Shell命令及其功能： - "ls"：列出指定路径下的所有文件和目录。 - "mkdir"：创建一个新的目录。 - "copyFromLocal"：从本地文件系统复制文件到HDFS。 - "copyToLocal"：将HDFS上的文件复制到本地文件系统。 - "mv"：移动或重命名文件或目录。 - "rm"：删除指定的文件或目录。 - "cat"：显示文件的内容。 - "put"：将本地文件复制到指定路径下。 - "get"：将指定路径下的文件复制到本地文件系统。 - "chmod"：更改文件或目录的权限。 - "chown"：更改文件或目录的所有者。 - "chgrp"：更改文件或目录的组。 - "du"：显示指定路径下的文件和目录的大小。 HDFS Shell命令是Hadoop生态系统中重要的一部分，可以方便地进行文件系统的操作。它也可以与其他Hadoop工具和组件集成，如MapReduce、Hive和Spark等，来进行更复杂的数据处理和分析工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值