HDFS如何保证数据安全性

最新推荐文章于 2023-01-07 21:50:47 发布
最新推荐文章于 2023-01-07 21:50:47 发布
阅读量1.4k 收藏
点赞数 2
文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abc5254065/article/details/112983047
版权
  1. HDFS是典型的Master/Slave架构，它往往是一个NameNode加多个DataNode组成，NamNode是集群的；且HDFS中分块存储的，为了容错文件，每个Block都会有副本
  2. 第一个副本一般放置在客户端所在的节点上（若客户端无DataNode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点上，第三个副本放到不同机架的DataNode节点，当取用时遵循就近原则
  3. DataNode已Block为单位，每3s报告心跳状态，若10min内不报告心跳状态则NameNode认为Block已死掉，NameNode会把其上面的数据备份到其他一个DataNode节点上，保证数据的副本数量
  4. DataNode会默认每小时把自己节点上的所有块状态信息报告给NameNode
  5. 采用Safemode模式：DataNode会周期性的报告Block信息且HDFS元数据采用SecondaryNameNode备份或者HA备份
迷惘的小行星
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
论文研究-基于HDFS的分布式数据安全存储模型 .pdf
08-27
基于HDFS的分布式数据安全存储模型，钱权，王天宏，结合Hadoop的分布式文件系统（HDFS），以及对称加密算法和公钥密码体制，提出了一种基于HDFS的分布式数据安全存储模型。该模型采用HDFS
05_将数据导入HDFS.docx
02-24
通道是数据源和接收器之间的队列，可以保存在内存中或“持久保存”以保证数据的持久性。在断电情况下，持久通道不会丢失数据。 使用Sqoop将数据导入HDFS Sqoop是一个开源的Apache项目，用于将数据从RDBMS（关系...
HDFS 怎么保证数据安全？
热门推荐
Shockang的博客
06-05 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 数据安全的四大核心功能如下所示 认证(authentication) 认证指的是向一个系统或是用户提出怀疑，让其证明自己的身份。只有经过认证的身份才被允许进入到数据系统。 Hadoop中的认证主要有两种， 简单认证和例认证。前者是一种宽松的安全体系，它信任用户自己宣称的身份。 而后者则使用像 Kerb
存储在HDFS上的文件，存储机制及数据安全性如何保证。
haoran_gao的博客
11-12 7837
HDFS是一种分布式存储系统， 它把大文件分块存储在网络的机器中，它采用主从结构（master/slave). 通过一些后台进程来管理文件的存储：Namenode, Datanode,SecondaryNamenode. NameNode结构图如下： NameNode维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件
HDFS是如何保证数据安全的
最新发布
m0_72324953的博客
01-07 1005
元数据安全 数据块安全
HDFS如何保证数据的完整性
Enzo的探索之路
12-02 3455
总的来说，HDFS 会对写入的数据计算校验和，并在读取数据时验证校验和。 具体来说，datanode 负责收到数据后存储该数据及其校验和。datanode 的数据来源可分为两种：其一为是从客户端收到的数据，其二为从其他 datanode 复制来的数据。还有一种情况，客户端将数据及其校验和发送到由一系列 datanode 组成的管线，管线中最后一个 datanode 负责验证校验和。 每个 data...
存储/缓存技术中的HDFS 的多安全级数据销毁机制设计（二）
10-20
虽然硬销毁技术能绝对保证删除的数据安全，但是因为完全破坏了存储介质，导致设备不能重复使用，这对于HDFS 是不能接受的，也是基本不能实现的。 　软销毁技术，主要是通过软件的方法删除数据。 　软销毁技术中的...
HDFS可靠性策略
02-14
除了针对常见错误的可靠性策略，HDFS 还提供了一些保证系统可靠的机制，例如： * 安全模式：NameNode 启动时会先经过一个“安全模式”阶段，安全模式阶段不会产生数据写。在安全模式阶段 NameNode 收集各个 ...
【HDFS篇06】HDFS数据读写流程1
08-04
在分布式文件系统HDFS（Hadoop Distributed File System）中，数据的读写流程是其核心功能之一，确保了数据的安全性和高效性。本篇文章主要探讨HDFS的数据读写流程，特别是写数据的过程。 首先，我们关注HDFS的写...
flume消费kafka数据上传hdfs.doc
05-09
在选择 Channel 时，需要考虑数据安全性和传输速度的平衡。对于普通日志信息，可以选择 Memory Channel，以提高传输速度；而对于金融类公司、对钱要求非常准确的公司，选择 File Channel，以确保数据安全。 ...
大数据处理之如何确保断电不丢数据
很多时候，你缺少的不是知识而是热情
11-12 5047
今年7、8月份杭州实行拉闸限电时，导致阿里余杭机房的机器意外断电，造成HDFS集群上的部分数据丢失。 在Hadoop 2.0.2-alpha之前，HDFS在机器断电或意外崩溃的情况下，有可能出现正在写的数据丢失的问题。而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接
HDFS的可靠性策略
Brucexyao的博客
09-25 1186
HDFS的可靠性策略是由多个机制共同维护的，可靠性体现在不同的状况下，下面我们来简单讲讲。 一、文件的完整 1、在文件刚刚开始建立的时候，文件中的每个数据块都会产生一个校验和(checksum)，这个校验和会保存在.meta文件内部。 2、客户端获取数据的时候会和这个校验和进行对比，检查是否相同，从而发现数据块是否损坏。 2、如果说正在读取的数据块损坏，则可以读取其他副本。接着NameNode会标记该block块已经损坏，然后复制该block达到预期设置的文件备份数。 4、DataNode在其文件创建后三周
简述HDFS的系统架构，以及如何保证数据安全
m0_51697147的博客
12-05 147
简述HDFS的系统架构： HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNo...
HDFS数据安全性如何保证
wsong_14的博客
09-23 5125
HDFS数据安全性如何保证 1)、存储在HDFS系统上的文件，会分割成128M大小的block存储在不同的节点上，block的副本数默认3份，也可配置成更多份； 2)、第一个副本一般放置在与client（客户端）所在的同一节点上（若客户端无datanode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点，第三个副本放到不同机架的datanode节点，当取用时遵循就近原则；
hdfs的八大安全和可靠策略总结和设计基础与目标
小爷欣欣
05-03 1436
hdfs 全称：Hadoop Distributed File System Hadoop分布式文件系统设计基础与目标:a: 硬件错误是常态。因此需要冗余 冗余对hadoop来说不是额外功能，而是本身就需要的一个功能,这个很好理解,就是因为各个节点容易断掉,为了数据的安全性和可维护性,故需要冗余。b:内存的不稳定，cpu过热，硬盘损坏等等，节点duan掉。 c:流式数据访问。即数据批量读取而非随机...
HDFS 优缺点介绍和安全模式介绍
hongchenshijie的博客
11-05 528
HDFS 优点(特性) 1.海量数据的存储 (1)数据 : HDFS可横向扩展,其存储的文件可以支持到PB级别 (2)文件: 处理的文件规模至百万以上. 2.高容错性 节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复,通过增加副本数量来增加容错性默认为3个. 3.大文件存储 DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布式进行存储. 4.可构建在廉价（与小型机大型机...
HDFS的可靠性
Er_fengV的博客
09-01 1154
前言 相信大家对Hadoop不是很陌生了。Hadoop是由java语言所编写，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 我们这块主要来讲讲HDFS的可靠性： 机架策略 冗余副本策略 安全模式 心跳机制 校验和 回收站 元数据 保护快照机制 一、机架策略 HDFS 的"机架感知",通过节点之间发送一个数据包,来感应它们是否在同一个机架 一般在本机架放一个副本,在其他机架再存放一个副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率 二
HDFS安全---kerberos介绍
breakout_alex的博客
06-03 715
目录 1.HDFS安全介绍 2.Kerberos工作原理介绍　 一. HDFS安全介绍 hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，使用这些组件部署的hdfs分布式文件系统时，都会面临很直接的一个安全问题，比如Java大数据开发工程师可以在java源代码中使用“System.setProperty("HADOOP_USER...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值