HDFS命令行使用

最新推荐文章于 2024-08-13 17:25:44 发布
最新推荐文章于 2024-08-13 17:25:44 发布
阅读量1k 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hdfs linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangyuhuangyu/article/details/123222392
版权
本文详细介绍了HDFS的常用命令，包括ls、lsr、mkdir、put、moveFromLocal、get、mv、rm、cp、cat、chmod、chown、appendToFile等，并探讨了HDFS的配额管理及安全模式操作。同时，还分享了如何进行HDFS的基准测试，以评估集群的读写性能。
摘要由CSDN通过智能技术生成

一，hdfs常见命令

：

ls

格式：  hdfs dfs -ls  URI
作用：类似于Linux的ls命令，显示文件列表

 hdfs  dfs   -ls  / 

lsr

格式  :   hdfs  dfs -lsr URI
作用  : 在整个目录下递归执行ls, 与UNIX中的ls-R类似

 hdfs  dfs   -lsr  / 

mkdir

格式 ： hdfs  dfs [-p] -mkdir <paths>
作用 :   以<paths>中的URI作为参数，创建目录。使用-p参数可以递归创建目录 

put

格式   ： hdfs dfs -put <localsrc >  ... <dst>
作用 ：  将单个的源文件src或者多个源文件srcs从本地文件系统拷贝到目标文件系统中（<dst>对应的路径）。也可以从标准输入中读取输入，写入目标文件系统中

hdfs dfs -put  /rooot/a.txt  /dir1 

 moveFromLocal

格式： hdfs  dfs -moveFromLocal  <localsrc>   <dst>

最低0.47元/天 解锁文章
搁浅记忆
关注
专栏目录
【HDFS篇02】HDFS命令行操作1
08-04
在Hadoop分布式文件系统（HDFS）中，进行操作通常通过命令行界面（CLI）进行，这包括管理文件、目录以及与本地文件系统的交互。本文将详细介绍HDFS的Shell操作，主要涵盖基本语法、常用命令以及其用法。 首先，HDFS...
【HDFS】HDFS 的常用命令
书山有路，学海无涯。记录成长，追逐梦想
09-20 8890
操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。
hdfs dfs常用基本命令
Lily3619的博客
01-07 8903
hdfs dfs 使用命令 ，路径用/project/test/替代 例如 查询前几行样本数据： hdfs dfs -cat /project/test/test.txt | head -17 查询后5行数据： hdfs dfs -cat /project/test/test.txt | tail -5 随机返回指定行数的样本： hdfs dfs -cat /project/test/test....
HDFS常用命令
最新发布
weixin_46356409的博客
08-13 1206
显示 HDFS 文件系统的磁盘空间使用情况。：显示 HDFS 文件系统的磁盘空间使用情况。：统计目录中的文件数、目录数和空间使用情况。目录下的所有文件和子目录的磁盘使用情况。：测试文件、目录或符号链接的存在性和类型。：将 HDFS 文件复制到本地文件系统。：将 HDFS 文件移动到本地文件系统。目录中的文件数、目录数和空间使用情况。：删除 HDFS 上的文件或目录。：显示目录或文件的磁盘使用情况。：将本地文件上传到 HDFS。：显示 HDFS 文件的内容。：将本地文件移动到 HDFS。
HDFS分布式文件系统操作
qq_44778120的博客
01-03 3388
大数据与数据挖掘技术实验二：HDFS分布式文件系统操作 启动Hadoop $ cd /usr/local/hadoop $ ./sbin/start-dfs.h #启动hadoop 实验内容 一、利用Shell命令和HDFS进行交互 Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 教材《大数据技术原理与应用》的命令是以”./bin/hadoop dfs”开头的Shell命令方式，实际上有三种shell命令方式。
Hadoop-hdfs dfs常用命令的使用
tangguoxing000的博客
11-14 1765
命令列表： hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] 追加写 [-cat [-ignoreCrc] <src> ...] 查看 [-checksum [-v] <src> ...] 校验和（数据完整性校验） [-chgrp [-R] GROUP PATH...] ...
linux常用命令
qq_31541339的博客
10-05 338
这里写自定义目录标题linux 常用命令关机目录结构基础指令进阶指令 linux 常用命令 关机 shutdown -h now（可以定时关机）; halt(关闭内存)； init 0（6里面能用，中间有空格） 目录结构 Bin：binary 二进制文件，文件都是可以运行的 Dev：该目录主要是存放的外接设备，例如盘、其他的光盘等。在其中的外接设备是不能直接被使用的，需要挂载（类似于windows下的分配盘符）。 ETC：存储一些配置文件 Home：除root用户外其他用户的目录，类似于windows下面的
Hadoop原理与技术hdfs命令行基本操作
05-24
熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：hdfs常见命令： （1）查看帮助：hdfs dfs -help （2）查看当前目录信息：hdfs dfs -ls / （3...
hdfs命令行操作.mp4
09-29
hdfs命令行操作.mp4
hdfs使用方法.rar
03-21
1. **HDFS命令行工具**：通过`hadoop fs`命令，用户可以执行如`put`、`get`、`rm`等操作，对HDFS上的文件进行管理。 2. **HDFS API**：Java API提供了对HDFS的全面操作，包括文件创建、读写、删除等，常用于开发...
hadoop hdfs dfs 命令讲解
mojolang
01-09 6817
hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile &lt;localsrc&gt; ... &lt;dst&gt; 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. · hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile · hdfs dfs -appen...
HDFS命令：hdfs dfs
Yummy的博客
07-24 3870
操作HDFS命令： hdfs dfs 0.帮助命令 hdfs dfs -help hdfs dfs -help put 1.建立一个账号目录 -mkdir -p hdfs dfs -mkdir -p /user/hadoop03 2.在当前账号下新建一个文件夹 hdfs dfs -mkdir input 3.上传本地文件到HDFS -put hdfs dfs -put 本地文件目录 HDFS的文件目录 hdfs dfs -put ~/*.txt input 4.查看HDFS文件中的文件和目...
hdfs常用操作
BXiron的博客
11-21 1591
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir pa
hadoop fs/hdfs dfs 命令集
hcq_lxq的博客
08-21 1035
hdfs dfs -test 常用命令： hdfs dfs -test -test -[defsz] <path>: Answer various questions about <path>, with result via exit status. -d return 0 if <path> is a directory. -e return 0 if <path>...
最详细HDFS常用命令作用及截图
kunkun的博客
04-16 5080
HDFS常用命令集合
Hadoop hdfs dfs命令 最常见经常使用的命令 入门推荐
热门推荐
是个好男人的博客
11-23 1万+
1.常用命令 下列的hdfs命令，都是在实际工作中经常会用到的，如果要看全部的命令可以直接使用hdfs dfs，会显示所有的命令。使用hdfs dfs -help能够查看每个命令的使用方法 （1）help hdfs命令帮助 hdfs dfs -help （2）ls 查看hdfs目录下内容 命令格式： hdfs dfs -ls [文件目录] hdfs dfs -ls / 结果： drwxr-xr-x - hdfs hdfs 0 2020-11-04 11:36 /HiBenc...
hdfs dfs 命令学习实践
weixin_46028840的博客
11-28 2074
查看目录或文件参数：参数释义：-C 仅显示文件和目录的路径-d 目录列为普通文件-h 以人类可读的方式显示文件大小，而不是按字节数-R 递归地列出目录的内容-t 按修改时间对文件排序（最近的第一次）-S 按大小对文件进行倒序排序-r 颠倒顺序排列-u 使用上次访问的时间而不是修改来显示和排序示例：1.1 以 K M G 可读方式显示文件大小(以首字母正序、倒序排列)
分布式文件系统HDFS
fakerlove的博客
12-12 1220
分布式文件系统HDFS（按块存储，默认一个block块128M） 一、分布式文件系统HDFS 1、产生背景 传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。 2、特点介绍 2.1 高容错和高可用性，硬件错误是常态而不是异常 HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文本存储副本策略，可以实现错误自检并快速自动回复。个别硬件的...
"深度解析Hadoop中HDFS命令行使用及文件读写过程，细节全揭秘！
本文是由公众号“五分钟学大数据”发布的一份名为“Hadoop吐血宝典”的知识体系，总结了HDFS（Hadoop Distributed File System）的命令行使用、高级使用命令、文件写入过程和文件读取过程等重要知识点。本文主要内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值