第二章 HDFS 的命令操作

最新推荐文章于 2024-01-14 01:08:05 发布
最新推荐文章于 2024-01-14 01:08:05 发布
阅读量380 收藏
点赞数
分类专栏： # hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43674360/article/details/109056244
版权

HDFS基本语法

文章目录


在配置hadoop 和jdk 的环境变量的情况下

1.hadoop fs

显示具体命令（hdfs dfs 也可以）

在这里插入图片描述

2.启动集群

start-dfs.sh
start-yarn.sh

在这里我的集群已经启动
在这里插入图片描述
在这里插入图片描述

3.-help

输出这个命令的参数
在这里插入图片描述

4.-mkdir

在hdfs 创建目录

在这里插入图片描述

5.-moveFromLocal

从本地文件系统移动到hdfs
在这里插入图片描述

6.-appendToFile

追加

-cat

查看

在这里插入图片描述

8.-chmod

改变权限

9.-chown

改变所属组
在这里插入图片描述

10 -copyFromLocal

从本地到hdfs
在这里插入图片描述

11.-copyToLocal

从hdfs 到本地

12. -cp

拷贝（hdfs之间）
在这里插入图片描述

13. -mv

移动 （hdfs之间）
在这里插入图片描述

14.-get

从hdfs 下载文件到本地（同于copyToLocal）
在这里插入图片描述

15.-getmerge

合并下载多个
在这里插入图片描述

16. -put

同于 copyFromLocal
在这里插入图片描述

17.-tail

显示一个文件末尾默认十行（hdfs）
在这里插入图片描述

18.-rm

删除文件或文件夹 （hdfs）
在这里插入图片描述

19.-rmdir

删除空目录（hdfs）
在这里插入图片描述

20.-du

统计文件大小信息
![在这里插入图片描述](https://img-blog.csdnimg.cn/20201013203218878.png#pic_center)

21. -setrep

设置hdfs 文件的副本数量
在这里插入图片描述

web 页面：

在这里插入图片描述

张国荣家的弟弟
关注
专栏目录
HDFS命令行操作
m0_47792921的博客
09-01 4844
HDFS的命令行接口类似传统的Shell命令，可以通过命令行接口与HDFS系统进行交互，从而对系统中的文件进行读取、移动、创建操作。 命令行接口有两种格式如下： hadoop fs -命令 文件路径 hdfs dfs -命令 文件路径 执行hadoop fs 或者 hdfs dfs可以列举出所有的HDFS命令： hadoop fs 1、ls 使用 ls 命令可以查看系统中的目录和文件，这里我们以HDFS的根目录为例。命令如下： hadoop fs -ls 需...
hadodop之HDFS 第二章 hdfs的shell命令
为了小家奋斗
06-16 125
hdfs shell 通过hdfs命令来操作hdfs的文件。 第一、hadoop V1.0 和 hadopp V2.0及以上具备的命令 jps 查看角色 hadoop fs -ls hdfs://itcast02:9000/ 1)hadoop fs -ls name node 2) hdfs的根存放什么信息。 3）命令： cat，check hadoop fs -copyF...
第3章 HDFS客户端操作
留不住斜阳的博客
06-01 378
HDFS客户端操作
第二章 HDFS
weixin_44446122的博客
01-11 840
2.1 HDFS 介绍 分布式文件系统设计思想 用户请求查看数据时会请求主节点，主节点上面会存储维护着所有数据的存储信息，然后用户根据数据所在的节点信息去对应的节点去读取数据，这样压力就进行了分流。 常见的分布式文件系统 GFS(谷歌) TFS(淘宝) S3(S3) HDFS 定义 HDFS的全称是Hadoop Distributed File System ，Hadoop的 分布式 文件系统,它是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。
第二章 HDFS基础入门
weixin_51524477的博客
12-18 826
HDFS基础入门
第二章 HDFS的Shell操作
qq_38358499的博客
05-23 154
2.1 基本语法 hadoop fs 具体命令 或者 hfds dfs 具体命令，二者完全相同。 2.2 常用命令实操 准备工作 启动hadoop集群：sbin/start-dfs.sh、sbin/start-yarn.sh -help：输出这个命令参数：hadoop fs -help rm 创建/sanguo文件夹：hadoop fs -mkdir /sanguo 上传 -moveFromLocal：从本地剪切粘贴到HDFS：vim shuguo.txt，输入shuguo，保存；hadoop f
第二章 HDFS的shell操作
盛夏光年-进阶修炼池
04-18 153
第二章 HDFS的shell操作 2.1 基本语法 hadoop fs 具体命令 hdfs dfs 具体名 2.2常用命令 上传 -moveFromLocal:从本地剪切粘贴到HDFS -copyFromLocal 从本地文件系统中拷贝文件到HDFS路径去. -put 等同于 copyFromLocal -appendToFile 追加一个文件到已经存在的文件末尾 下载 -copyToLocal 从HDFS拷贝到本地 -get 等同-copyToLocal 直接操作 -ls
HDFS-day01-第二章HDFS的Shell操作
AlphaG的博客
07-13 151
1基本语法 Hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的 2：命令大全 $ bin/hadoop fs #通过上述命令可查看所有HDFS的命令 3：常用命令实操 1：准备工作 1：启动Hadoop集群 [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh 2：-hel...
第三章 HDFS分布式文件系统
y2079275094的博客
01-14 1002
学习
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
实验二：熟悉常用的HDFS操作
05-05
在Shell命令操作中，学生首先通过`hdfs dfs -put`命令将本地文件上传至HDFS，然后使用`-test -e`检查文件是否存在，最后通过`-appendToFile`命令追加内容或`-copyFromLocal -f`覆盖原有文件。这些命令展示了HDFS的...
高级软件人才培训专家-Hadoop课程资料-2-第二章 - 分布式存储 Hadoop HDFS
最新发布
03-10
### 高级软件人才培训专家-Hadoop课程资料-2-第二章 - 分布式存储 Hadoop HDFS #### 重要知识点解析 ##### 1. 为什么需要分布式存储 随着信息技术的发展，数据量呈爆炸性增长趋势，单个服务器已经无法满足大规模...
Hadoop 官方WordCount案例带你手把手的解析
张国荣家的弟弟
10-21 2351
package wordcount_hdfs; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class WordCountMapper extends Mapp
window 10 hadoop 集群搭建
张国荣家的弟弟
04-04 1535
文章目录window 10 hadoop 集群搭建Hadoop官网下载：相关单词安装和配置：解压配置环境变量：修改Hadoop里面的文件提示： window 10 hadoop 集群搭建 在这里：我要讲一个自然道理，以后这种下载软件，安装包的情况很多很多，但是万变不离其中。注意特别单词，会认。慢慢找到自己的学习套路（自己独有的学习状态） Hadoop官网下载： https://hadoop.apa...
Hadoop案例:序列化操作
张国荣家的弟弟
11-02 1329
把下面文件复制到文件:phone_data.txt 1 13736230513 192.196.100.1 www.hadoop.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271575951 192.168.100.2 www.hadoop.com 15
hadoop案例：partition分区
张国荣家的弟弟
11-02 1190
文章目录输入数据期望结果需求分析自定义PhoneFlowBean自定义MyPartitionerMapper类Reducer类Driver类执行结果 输入数据 1 13736230513 192.196.100.1 www.hadoop.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240
hadoop案例：comparable（排序）
张国荣家的弟弟
11-02 1175
文章目录输入数据期望结果需求分析自定义PhoneFlowBeanMapper类Reducer类Driver类执行结果 输入数据 phone_data.txt 1 13736230513 192.196.100.1 www.hadoop.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240
hadoop案例：groupcomparable（分组排序）
张国荣家的弟弟
11-03 1005
文章目录输入数据期望结果需求分析自定义OrderBean自定义OrderComparatorMapper类Reducer类Driver类执行结果 输入数据 group.txt 0000001 Pdt_01 222.8 0000002 Pdt_05 722.4 0000001 Pdt_02 33.8 0000003 Pdt_06 232.8 0000003 Pdt_02 33.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 期望结果 期望输出数据 1 222.8 2
hadoop案例:NLine (分行统计)
张国荣家的弟弟
11-02 912
文章目录需求输入数据期望输出数据需求分析编写代码Mapper类Reducer类Driver类执行结果 需求 对每个单词进行个数统计，要求根据每个输入文件的行数来规定输出多少个切片。此案例要求每三行放入一个切片中。 输入数据 Nu.txt banzhang ni hao xihuan hadoop banzhang banzhang ni hao xihuan hadoop banzhang banzhang ni hao xihuan hadoop banzhang banzhang ni hao xih
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值