dfs hdfs 修改文件名称_图文详解HDFS工作机制

最新推荐文章于 2023-06-25 11:56:22 发布
最新推荐文章于 2023-06-25 11:56:22 发布
阅读量182 收藏
点赞数
文章标签： dfs hdfs 修改文件名称
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39953481/article/details/112488187
版权
本文详细介绍了HDFS的工作机制，包括HDFS是什么、HDFS的骚操作（写操作、读操作和容错性），以及其架构原理，如NameNode、DataNode、Secondary NameNode、Balancer和HttpFS的角色。文章还探讨了Block数据块的存储策略，以及写入和读取文件的具体流程，强调了复制因子和容错性的关键作用。
摘要由CSDN通过智能技术生成

本篇主要从下面几个方面进行展开

  • HDFS是什么

  • 漫画看懂HDFS骚操作

  • HDFS架构原理

一、HDFS是什么

HDFS(Hadoop Distributed File System)分布式文件系统，它是谷歌的GFS提出后出现的一种用户级文件系统。提供了一个高度容错和高吞吐量的海量数据存储解决方案。

31535dc7829c16f52c26033af4a0dbd8.png

hadoop生态-HDFS的核心位置

二、漫画看懂HDFS骚操作

8757ff0f6a61c289b5708aae7f52603b.png

2.1 写操作

170906d0b8774ef042f20fdd2e9e6cc0.png

1

ef56f1b1dd79fd6f102716f421f2fcff.png

2

77ff50bb4771c58cbacd4da7426069e0.png

3

2.2 读操作

3c26706fa62347e104c2741bd1ac3518.png

2.3 容错性

常见错误种类

7c64fb6d0e31f6bbd7700188a097c80a.png

节点故障

c23431a22ef06d55d0f8b21401cab86a.png

通信故障和数据损坏

最低0.47元/天 解锁文章
weixin_39953481
关注
Hadoop HDFS 实现原理图文详解
AI天才研究院
11-28 1万+
一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统(HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed Fi...
HDFS：集群扩展（扩容）节点 图文详解
小蜜蜂博客
11-10 3922
第一步：准备一个纯净的能ping通外网的虚拟机，作为新节点 关闭防火墙 关闭seLinux 修改主机名（重启后生效） vi /etc/sysconfig/network 4. 配置主机名与IP对应关系 5. SSH免密码登录 生成秘钥和公钥命令： ssh-keygen 查看生成秘钥和公钥存在位置：ll /root/.ssh/ 发送公钥给其他节点：ssh-copy-id ip或者...
批量修改文件后缀名
01-03
批量修改文件后缀名，可以设置要修改目录的深度
HDFS的Shell操作（开发重点）
sparky的博客
09-28 272
文章目录常用命令实操 常用命令实操 启动Hadoop集群 master上执行：sbin/start-dfs.sh slave1上执行：sbin/start-yarn.sh -help：输出这个命令参数 hadoop fs -help rm -ls: 显示目录信息 hadoop fs -ls / -mkdir：在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo -moveFromLocal：从本地剪切粘贴到HDFS touch kongmin
怎么设置某个用户生成hdfs文件的权限_大数据平台之HDFS性能调优
weixin_39996134的博客
11-23 136
客户端读取写流程HDFS读写流程 1、写流程1、客户端向NameNode发起请求，需要存储数据Data 2、因为NameNode中是记录了所有DataNode的相关信息的，而数据最终要保存的地方就是DataNode，所以NameNode会返回可用的DataNode的信息给客户端 3、将Data分为1和2这两个数据块 4、客户端会将数据块存储到NameNode返回给他的DataNode1中去 5、因...
mosquitto重启
长腿小码农的博客
09-10 1409
1、查看mosquitto的进程 ps -aux | grep mosquitto 2、杀掉进程 kill -9 18248 3.启动mosquitto mosquitto -c /etc/mosquitto/mosquitto.conf -d
HDFS API 操作之文件下载、文件删除、文件名更改
热门推荐
小杨的技术博客
04-02 2万+
文件下载 @Test public void testCopyToLocalFile() throws Exception { //1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf,...
图文详解HDFS工作机制.docx
11-14
HDFS 工作机制详解 HDFS（Hadoop Distributed File System）是分布式文件系统，它是谷歌的 GFS 提出后消灭的一种用户级文件系统，供应了一个高度容错和高吞吐量的海量数据存储处理方案。HDFS 是 Hadoop 生态的核心...
HDFS（退役节点），集群扩展（扩容）节点 图文详解，
weixin_43874875的博客
11-11 1021
在HDFS集群内退役一个集群分几步 第一步 在NameNode主节点新添加一个文件 在dfs.hosts.exclude文件内添加需要退役的节点主机名、 第二步 在NameNode主节点的hdfs-site.xml文件添加配置，让dfs.hosts.exclude文件生效 第三步 刷新 在NameNode主节点的hadoop安装目录下执行以下命令 在Web页面查看 如果页面没有结果请重启集...
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2099
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
dfs hdfs 修改文件名称_必须掌握的分布式文件存储系统—HDFS
weixin_39559559的博客
01-08 401
HDFS(Hadoop Distributed File System)分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树，客户端可通过路径来访问文件，如hdfs://namenode:port/dir-a/a.data。HDFS集群分为两大角色：Namen...
Hdfs文件命名规则
maixia24的专栏
01-21 2959
You have a directory named jobdata in HDFS that contains four files: _first.txt, second.txt, .third.txt and #data.txt. How many files will be processed by the FileInputFormat.setInputPaths () comman
Hadoop --- HDFS配置与操作
最新发布
zhoushimiao1990的博客
06-25 1842
hadoop的配置文件存放目录在 {HADOOP_HOME}/etc/hadoop 下， 与 hdfs相关的配置：新增属性信息： fs.defaultFSfs.defaultFS表示指定集群的文件系统类型是分布式文件系统（HDFS），datanode心跳发送到nameNode的地址。
HDFS的读文件、写文件过程
数据掘金
10-12 1141
目录 HDFS的重要特性 HDFS写数据分析 HDFS读数据分析 HDFS删除数据分析 NameNode元数据管理原理分析 HDFS的重要特性 HDFS是一个分布式文件系统，通过统一的命名空间(类似于本地文件系统的目录树)，用于存储和管理文件。服务器集群中各个节点都有自己的角色和职责，具有以下特点： 1. HDFS中的文件在物理上是分块存储(block)，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M。 ...
shell脚本中常用的基础命令
qq_47656380的博客
09-03 592
diff 可以对两个文件内容作出对比，合并，等操作 输出信息解读 ddif [参数] 文件|目录 例如 vim file1 vim file2 diff file1 file2 [num1,num2][a|c|d][num3,num4] num1,num2：第一个文件中的行 a：添加 c：更改 d：删除 <：第一个文件中的内容 >：第二个文件中的内容 num3,num4：第二个文件中的行 常用参数 -b：忽略空格 -B：忽略空行 -i：忽略大小写 -c：显示文件的所有内容并标示不同
大数据：HDFS的Shell常用命令操作
梁辰兴的博客
11-26 5229
HDFS允许用户数据组织成文件和文件夹的方式，它提供一个叫DFSShell的接口，使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells（bash,csh）相似。Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。三种Shell命令方式命令。
修改hdfs上指定文件的文件名
navy专栏
03-23 1万+
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
dfs hdfs 修改文件名称_Hadoop----hdfs dfs常用命令的使用
weixin_42484898的博客
03-03 3789
-mkdir　创建目录　　hdfs dfs -mkdir [-p] < paths>-ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间　　hdfs dfs -ls [-R] < args>-put　　将本地文件或目录上传到HDFS中的路径　　hdfs dfs -put < localsrc> … < dst>-get　　将文件或目录从...
HDFS修改文件名
ITBOY_ITBOX博客
06-25 2564
/** * 修改文件名 * @throws IOException * @throws InterruptedException * @throws URISyntaxException */ @Test public void testRename() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 ...
HDFS 透明加密机制详解与实践
HDFS 透明加密（TransparentEncryption）支持端到端的透明加密，启用以后，对于一些需要加密的 HDFS 目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端到端是指加密和解密只能通过客户端。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值