HDFS常用Shell命令

最新推荐文章于 2022-02-18 20:41:45 发布
最新推荐文章于 2022-02-18 20:41:45 发布
阅读量329 收藏
点赞数 2
分类专栏： 大数据之Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Child2/article/details/104414472
版权

本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情

使用HDFS基本语法: bin/hadoop fs	OR bin/hdfs dfs
	注:为帮助快速理解并使用本文中使用T表示target
基本命令
	1.启动hadoop集群
		HDFS相关组件: sbin/start-dfs.sh 
		YARN相关组件: sbin/start-yarn.sh
	2.显示目录信息
		-ls
		hadoop fs -ls $pdir
	3.在HDFS上创建目录
		-mkdir
		hadoop fs -mkdir -p $pdir/$fname
	4.从本地剪贴文件[目录]到HDFS
		-moveFromLocal
		hadoop fs -moveFromLocal $pdir/$fname $Tpdir
	5.追加文件到已存在文件的末尾
		-appendTOFile
		hadoop fs -appendToFile $pdir/$fname $Tpdir/$fname
	6.显示文件内容
		-cat
		hadoop fs -cat $pdir/$fname
	7.修改文件[目录]所属权限
		-chgrp -chmod -chown
		hadoop fs -chown $pdir/$fname
	8.HDFS拷贝文件[目录]
		-cp
		hadoop fs -cp $pdir/$fname $Tpdir/$fname
	9.HDFS移动文件
		-mv
		hadoop fs -nv $pdir/$fname $Tpdir/$fname
	10.从HDFS上下载文件[目录]到本地
		-get
		hadoop fs -get $pdir/$fname $Tpdir
	11.本地上传文件到HDFS
		-put
		hadoop fs -put $pdir/$fname $Tpdir
	12.合并下载目录下多个文件
		-getmerge
		hadoop fs -getmerge $pdir/$fanme $Tpdir/$newfname
	13.显示一个文件的末尾
		-tail
		hadoop fs -taile $pdir/$fname
	14.删除文件或文件夹
		-rm
		hadoop fs -rm [-r] $pdir/$fname
	15.统计文件夹的大小信息
		-du
		hadoop fs -du -s -h $pdir
		选项说明: -h 人们理解的方式查看信息 -s 该目录下所有文件合并在一起占用的空间大小
	16.设置HDFS文件的副本数量
		-setrep
		hadoop fs -setrep n $pdir/$fname
		注: 这里设置的副本数只是记录在NameNode的元数据中,实际是否会有这么多副本取决于DataNode的数量.
我亦无它
关注
专栏目录
HDFS常用的shell命令
CHEN的博客笔记
10-28 9972
HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹 使用方法：hdfs fs -mkdir [-p] 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例1:在分布式主目录下新建文件夹test [hadoop@master ~]$ hdfs dfs -mkdir /test [had
HDFS 客户端的 Shell 命令
主要写大数据集群一线运维和学习工作经验
11-21 910
classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version
HDFS常用的的Shell命令
小破老头
08-21 230
创建目录: 　　hdfs dfs -mkdir -p /test/01/02 　　 创建文件: 　　hdfs dfs -touchz /tset/123 　　hdfs dfs -appendToFile 文件 /test/123 列出目录: 　　hdfs dfs -ls / 　　hdfs dfs -ls -h -R / 　　hdfs dfs -lsr / 复制: 　　hdfs dfs -cp /t...
常用的一些HDFS-Shell命令
THanHan的博客
06-30 346
命令练习（练习时可结合Hadoop站点观察操作结果） 创建名为/abc的文件夹 hdfs dfs -mkdir /abc 列出根目录中的内容 hdfs dfs -ls / 0 递归列出多层文件夹的内容 hdfs dfs -ls -R 把Linux系统中/etc/hosts文件上传到HDFS中 hdfs dfs -put /etc/hosts /abc/hosts 向文件中追加内容 hdfs dfs -appendToFile /etc/hosts /abc/hosts 查看文件的MD
2.HDFS 常用的shell操作命令
不积跬步，无以至千里；不积小流，无以成江海。
07-20 367
常用的命令操作 根据版本（最新版使用第二种方式） hadoop dfs -命令 hdfs dfs -命令 # 查看目录 hdfs dfs -ls / # 创建文件夹 hdfs dfs -mkdir /foodir # 删除文件夹 hdfs dfs -rm -r /foodir # 上传文件 hdfs dfs -put myfile.txt /foodir/myfile.txt # 查...
HDFS常用Shell命令和基础编程开发
qq_36881106的博客
07-04 291
转载：https://blog.csdn.net/qq_38265137/article/details/80634694 HDFS常用Shell命令 Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 HDFS有三种shell命令方式： hadoop fs :适用于任何不同的文件系统，比如本地文件系...
大数据教程-HDFS常用Shell命令.md.zip
最新发布
03-02
本教程将聚焦于HDFS的Shell命令，这些命令对于数据处理和管理至关重要。以下是HDFS Shell命令的一些基本知识和常见操作。 1. **查看当前目录（pwd）**： 使用`hadoop fs -pwd`命令可以显示当前工作目录，它类似于...
HDFS常用Shell命令.md
08-07
HDFS常用Shell命令，基础篇
DaemonicCao#BigData-notes#HDFS常用Shell命令1
07-25
1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容 7. 显示文件
HDFS 常用 shell 命令
会飞的大象
06-03 1962
HDFS 常用 shell 命令
hdfs的常用shell命令
猪猪
03-07 166
hdfs的常用shell命令 [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALM...
大数据开发常用Shell脚本
blackrock233的博客
02-18 2438
数据仓库集群搭建时一些常用脚本，方便集群的启调停
hive服务启动的脚本
qq_43523503的博客
10-22 1508
hive服务启动的脚本 启动metastore和hiveserver2 #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs mkdir -p $HIVE_LOG_DIR #检查进程是否运行正常，参数1为进程名，参数2为进程端口 function check_process() { pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}') ppid=$(netstat
HDFS 命令列表
03-29 412
1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# hadoop fs -ls 1.2 上传数据到HDFS 上传： [root@slave1 bin]# hadoop fs -put ../conf input 检查已上传的数据： [root@slave1 bin]# hadoop fs input 1.3 下载HDFS的数
HDFS 常用Shell命令
热门推荐
杨先森的博客
09-21 1万+
HDFS Shell命令 概述 HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作。 如文件夹的增删改查、文件的增删改查等。   开始练习hadoop时，打开Linux之后要用 start-dfs.sh  启动HDFS。HDFS不是开机启动的   常用命令 命令格式 hdfs dfs -操作命令 参数 前面的【hdfs dfs -】部分是固定的，后面的...
HDFS适用场景和不适用场景
qian_peng的博客
10-12 8601
HDFS适用场景 海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。 高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。 商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。 大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多个小的数据块。所以再大的数据，切分后，大数
HDFS的简介及基本操作（常用的命令参数介绍）
Magician的博客
10-30 1871
前言： 总算有空来接着写大数据的学习笔记了，今天就把之前学过的HDFS的基础知识详细的介绍一下，如有哪点写的不足希望大家多多指教。 1、HDFS基本概念 1.1、前言： 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供...
shell脚本——xsync
可乐联盟
12-24 799
xsync脚本基于rsync工具，rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。  rsync -rvl $pdir/$fname $user@hadoop$host:$pdir  常用参数：  -r, –recursive 对子目录以递归模式处理  -R, –relative 使用相对路径信息  -l...
HDFS常用shell命令
05-29
HDFS是Hadoop分布式文件系统的缩写，常用的HDFS shell命令包括： 1. hdfs dfs -ls：列出指定路径下的文件和目录信息。 2. hdfs dfs -mkdir：创建指定路径的目录。 3. hdfs dfs -put：将本地文件复制到HDFS上。 4. hdfs dfs -get：将HDFS上的文件复制到本地上。 5. hdfs dfs -rm：删除指定路径的文件或目录。 6. hdfs dfs -mv：将指定路径的文件或目录移动到另一个路径上。 7. hdfs dfs -cat：显示指定路径的文件内容。 8. hdfs dfs -tail：显示指定文件的最后几行内容。 9. hdfs dfs -chmod：修改指定路径的文件或目录的权限。 还有很多其他的HDFS shell命令，以上是常用的一些。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值