Hadoop HDFS详解和常用指令

最新推荐文章于 2024-08-13 17:25:44 发布
最新推荐文章于 2024-08-13 17:25:44 发布
阅读量786 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop hdfs 常用指令
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu342107056/article/details/88425670
版权
本文深入探讨Hadoop的分布式文件系统HDFS，包括其基本结构、Block概念、NameNode与DataNode的角色，以及读写流程。HDFS通过切块存储大文件并实施多复本策略确保数据可靠性。NameNode管理元数据，DataNode存储数据，并通过心跳机制保持通信。文章还讨论了SecondaryNameNode的作用、多复本放置策略和机架感知策略。
摘要由CSDN通过智能技术生成

HDFS：

  1. 是Hadoop中用于数据的分布式存储的组件
  2. 根据Google论文《The Google File System》来设计的
常用指令
指令 说明
hadoop fs -put 向HDFS上传文件
hadoop fs -mkdir 在HDFS上创建了目录（实际上只是一个路径标记）
hadoop fs -get 下载
hadoop fs -rm 删除文件
hadoop fs -rmdir 删除目录
hadoop fs -rmr 递归删除
hadoop fs -ls 查看指定路径下的子文件和子目录
hadoop fs -lsr 递归查看
hadoop fs -cat 查看指定文件中的内容
hadoop fs -tail 查看指定文件的最后1000个字节的内容
hadoop fs -mv 剪切文件
hadoop fs -cp 复制文件
hadoop fs -touchz 创建一个空文件
hadoop fsck /test/txt/a.txt -files -blocks -locations -racks
一、基本结构
  1. 在HDFS中，对于文件是进行切块保存
  2. HDFS中有2类主要的节点：NameNode和DataNode
  3. NameNode负责管理DataNode
  4. DataNode负责存储数据
  5. HDFS会对文件块进行自动的备份，每一个备份称之为复本（Replication），HDFS默认是3个复本
  6. 如果某一个DataNode宕机，那么在HDFS中默认将这个DataNode所存储的复本再进行一次备份，保证指定的复本数量
二、Block
  1. 在HDFS中，会对文件进行切块，每一个块实际上就是一个Block
  2. Block是HDFS中存储的基本单位
  3. Block在Hadoop1.0中的大小是64M，在Hadoop2.0中的大小是128M
  4. 如果一个文件或者数据的大小不满足Block的大小，那么这个文件或者数据是多大那么对应的Block就是多大
  5. 切块的意义：
    a. 便于存储超大文件
最低0.47元/天 解锁文章
Arno_Yu
关注
专栏目录
hadoop hdfs常用命令
52Pig的专栏
01-05 1205
hadoop hdfs常用命令   hadoop常用命令：  hadoop fs  查看Hadoop HDFS支持的所有命令    hadoop fs –ls  列出目录及文件信息    hadoop fs –lsr  循环列出目录、子目录及文件信息    hadoop fs –put test.txt /user/sunlightcs  将本地文件系统的test.txt
HDFS的常用操作命令
Mr.Ma-master
11-20 678
练习： HDFS的常用操作命令 操作题: HDFS的常用操作命令练习： 根据以下题目要求，写出相应的HDFS命令： （1）列示出HDFS的文件系统目录，以及子目录的所有内容 $ ./hadoop fs -lsr （2）在HDFS的根目下创建文件夹d1 $ ./hadoop fs -mkdir /d1 $ ./hadoop fs -ls /d1 （3）上传本地/root/install.log文...
hadoop常用操作指令
进行中
03-10 504
查看 / 根目录下的文件目录 [root@hadoop1 ~]# hadoop fs -ls / 19/03/11 01:50:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Fo...
HDFS常用命令
最新发布
weixin_46356409的博客
08-13 1212
显示 HDFS 文件系统的磁盘空间使用情况。：显示 HDFS 文件系统的磁盘空间使用情况。：统计目录中的文件数、目录数和空间使用情况。目录下的所有文件和子目录的磁盘使用情况。：测试文件、目录或符号链接的存在性和类型。：将 HDFS 文件复制到本地文件系统。：将 HDFS 文件移动到本地文件系统。目录中的文件数、目录数和空间使用情况。：删除 HDFS 上的文件或目录。：显示目录或文件的磁盘使用情况。：将本地文件上传到 HDFS。：显示 HDFS 文件的内容。：将本地文件移动到 HDFS。
hadoop基本代码（一） word count
u013077314的博客
12-18 444
开篇语： 记于映像笔记，现搬运至csdn。 算是大数据的第一份代码，这里做详尽解析，有什么有问题请指出。thx   MapReduce: 在开始看WordCount的代码之前，先简要了解下什么是MapReduce。HDFS和MapReduce是Hadoop的两个重要核心，其中MR是Hadoop的分布式计算模型。MapReduce主要分为两步Map步和Reduce步，引用网上流传很广的一个...
三种恢复 HDFS 上删除文件的方法
Hadoop技术博文
01-15 6181
本文原文：https://www.iteblog.com/archives/2321.html，如下面格式排版错乱，请点击下面阅读原文进入本博客阅读。我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提供了三种恢复误删除文件的方法，希望对大家的日常运维有所帮助。通过垃圾箱恢复HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hado
hadoop之hdfs命令详解
xby18772963985的博客
01-17 2129
目录一、hadoop命令1、archive2、checknative3、classpath4、credential5、distcp（比较常用）6、fs7、jar8、key9、trace二、hdfs命令1、classpath2、dfs3、fetchdt4、fsck（重要）5、getconf（重要）6、groups7、lsSnapshottableDir8、jmxget9、oev10、oiv11、snapshotDiff12、balancer（重要）13、cacheadmin14、datanode15、dfsa
在Windows上安装Hadoop HDFS和MapReduce框架1
08-08
### 在Windows上安装Hadoop HDFS和MapReduce框架 #### 一、安装步骤详解 **1. 下载Hadoop** - 访问官方网站 [http://archive.apache.org/dist/hadoop/core/](http://archive.apache.org/dist/hadoop/core/)，下载...
Hadoop之hdfs架构详解共2页.pdf.zip
10-28
"Hadoop之hdfs架构详解共2页.pdf.zip" 暗示文档内容可能简洁而精炼，聚焦在HDFS的架构上，包括但不限于NameNode、DataNode、Secondary NameNode等关键组件的功能与交互，以及HDFS如何实现数据的高可用性和容错性。...
Hadoop HDFS_Shell命令详解.pdf
06-01
### Hadoop HDFS Shell 命令详解 #### 概述 Hadoop HDFS Shell 是一组用于与Hadoop分布式文件系统 (HDFS) 进行交互的命令行工具。通过这些命令，用户能够执行诸如创建、删除、移动文件以及设置文件权限等操作。本文...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3337
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
Hadoop HDFS命令知识
xiaoleilei666的博客
02-28 295
一、简要概述 目前在工作中用到的hdfs命令大概分为以下几种： 读取文件、新建目录、移动文件、复制文件、删除目录、上传文件、下载文件、列出目录等； 二、分别陈述 查看HDFS目录 hadoop fs -ls / 查看 HDFS 中的非压缩文件的内容 hadoop fs -cat /data02/data.txt 修改 HDFS 中文件或目录的访问权限，-R 选项可以修改目录下的所有子目录的访问权限，执行此命令的用户必须是文件或目录的所有者或超级用户 hadoop fs -chmod 70
Hadoop之HDFS的简单介绍及常用命令
C.W.J
05-03 1442
【目录】 1. HDFS介绍 2. HDFS优点 3. HDFS缺点 4. HDFS架构 5. HDFS数据存储单元 6. HDFS结构 7. Block的副本放置策略 8. Hadoop之HDFS文件读写过程 9. 安全模式 10. HDFS常用命令 1、HDFS(HadoopDistributedFileSystem)是分布式存储系统，提
Hadoop---HDFS相关命令
sun7_9的博客
11-19 250
Hadoop中有三种Shell命令方式： (1)hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统 (2)hadoop dfs只能适用于HDFS文件系统 (3)hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统 一、hadoop fs - 命令 命令 说明 hadoop fs -mkdir 创建HDFS目录，创建指定的文件夹 hadoop fs -ls 显示指定的文件的详细信息 hadoop fs -copyFrom.
【Hadoop】——HDFS：概述、基本命令
qq_42000631的博客
01-11 416
Hadoop HDFS：概述、基本命令
hadoop(十一)HDFS简介和常用命令介绍
dingxiaohuang4790的博客
09-17 180
HDFS背景 随着数据量的增大，在一个操作系统中内存不了了，就需要分配到操作系统的的管理磁盘中，但是不方便管理者维护，迫切需要一种系统来管理多态机器上的文件，这就是分布式文件管理系统。 HDFS的概念 HDFS英文hadoop distributed file system ，是一个分布式文件系统，用于存储文件，通过目录树记录定位文件，其次他是分布式的，由很多服务器联合起来实现其功...
Hadoop 之HDFS常用命令
莲芸轩的书房
07-05 492
Hadoop组件之HDFS常用命令 Hadoop作为大数据基础组件，解决了海量数据的存储（HDFS）和计算(Map-Reduce)问题。虽然Map-Reduce计算已经很少在生产中使用，但是关于HDFS的一些常用命令还是需要掌握的。HDFS命令有两种方式 一种是hdfs dfs -ls / 一种是hadoop fs -ls / 根据个人喜好用就可以了。下面列出一些常用命令。 （1）-help：输出这个命令参数 bin/hdfs dfs -help rm （2）-ls: 显示目录信息 hadoop fs -
hadoop命令大全
顺其自然~专栏
07-17 4423
hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息。
Hadoop HDFS常用命令详解：创建、管理与复制
本文档概述了Hadoop中一些常用的HDFS命令，对于Hadoop开发者和管理员来说，这些命令是日常操作的基础。 1. 创建HDFS目录： - `hdfs dfs -mkdir /path/to/directory`: 在HDFS的根目录下创建一个新的目录，如`/zr`。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值