HDFS
文章平均质量分 95
Hadoop的两大核心之一
大数据梦想家
专注与研究大数据基础,理论,架构与原型实现。
个人原创公众号「 大数据梦想家 」,每日更新大数据干货,欢迎上车!
一天的生活就是一生的缩影。在最美的年华,做最好的自己!!!
展开
-
干货 | HDFS是怎么做文件管理和容错的?
在 HDFS 中,NameNode 作为整个集群的管理中心,保存着整个 HDFS 中的元数据信息,而真正保存数据的是 DataNode。那么, Hadoop HDFS 是如何管理这些文件的呢?本期内容就来为大家解答:HDFS 文件管理1、HDFS 的块分布 HDFS 会将数据文件切分成一个个小的数据块进行存储,同时原创 2021-03-08 00:50:11 · 2825 阅读 · 53 评论 -
前方高能 | HDFS 的架构,你吃透了吗?
前言 HDFS是Hadoop中存储数据的基石,存储着所有的数据,具有高可靠性,高容错性,高可扩展性,高吞吐量等特征,能够部署在大规模廉价的集群上,极大地降低了部署成本。有意思的是,其良好的架构特征使其能够存储海量的数据。本篇文章,我们就来系统学习一下,Hadoop HDFS的架构!HDFS架构 HDFS采用 Mas原创 2021-03-03 01:53:10 · 2759 阅读 · 4 评论 -
hdfs快照snapShot管理(13)
快照顾名思义,就是相当于对我们的hdfs文件系统做一个备份,我们可以通过快照对我们指定的文件夹设置备份,但是添加快照之后,并不会立即复制所有文件,而是指向同一个文件。当写入发生时,才会产生新文件。快照使用基本语法1、开启指定目录的快照功能hdfs dfsadmin -allowSnapshot...原创 2019-11-10 23:34:37 · 2762 阅读 · 19 评论 -
HDFS经典简答题(实习生必看!)
前一段时间,小菌陆续分享了HDFS系列1-12的博客,总算是要完结了。于是小菌打算再出一期关于HDFS的经典面试题,其中的内容大多都出自于在前面分享的博客中,感兴趣的小伙伴们可以自行浏览,链接小菌放到文末了哦~1.怎么理解分布式? 分布式需要从计算和存储两个方面来讨论:分布式计算:是一种计算方法,是将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提...原创 2019-11-09 11:00:40 · 4634 阅读 · 9 评论 -
HDFS的小文件合并(12)
由于Hadoop擅长存储大文件,因为大文件的元数据信息比较少,如果Hadoop集群当中有大量的小文件,那么每个小文件都需要维护一份元数据信息,会大大的增加集群管理元数据的内存压力,所以在实际工作当中,如果有必要一定要将小文件合并成大文件进行一起处理。 &n...原创 2019-11-09 09:54:35 · 4004 阅读 · 0 评论 -
HDFS权限问题以及伪造用户(11)
之前在谈到HDFS常用命令的时候,说过hdfs的文件权限验证与linux系统的类似,但hdfs的文件权限需要开启之后才生效,否则在HDFS中设置权限将不具有任何意义!而在设置了权限之后,正常的HDFS操作可能受阻,这种情况下我们就需要伪造用户!本篇博客,小菌将为大家带来关于HDFS权限问题以及伪造用户的...原创 2019-11-08 20:15:20 · 2451 阅读 · 2 评论 -
HDFS的javaAPI操作(10)
在之前的博客《HDFS的shell常用命令大全》中,小菌为大家分享的是在linux系统的命令行上通过shell命令操作HDFS。而本篇博客,小菌为大家带来的则是在java的环境下,用JavaAPI操作HDFS!学过Java的小伙伴们是不是感觉很nice(`・ω・´)~  ...原创 2019-11-07 20:08:42 · 1881 阅读 · 25 评论 -
HDFS新增节点与删除节点(9)
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。因此,本篇博客小菌为大家带来的是HDFS新增节点与删除节点的内容。文章目录准备新节点一:复制一台新的虚拟机出来二:修改mac地址以及IP地址三:关闭防火墙,关闭selin...原创 2019-11-06 23:35:27 · 2548 阅读 · 3 评论 -
HDFS中namenode故障恢复(8)
secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先将namenode的fsimage与edits文件拷贝一份过来,所以fsimage与edits文件在secondarNamendoe当中也会保存有一份,如果namenode的fsimage与edit...原创 2019-11-06 21:37:45 · 2155 阅读 · 0 评论 -
NameNode元数据信息多目录配置
为了保证数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1。(不清楚什么是RAID1的小伙伴们可以去看小菌之前的博客哦~《大数据基础知识科普(1)!》)。 namenode的本地...原创 2019-11-06 20:59:21 · 1926 阅读 · 0 评论 -
HDFS中SecondaryNamenode工作原理(7)
我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个SecondaryNameNode在HDFS中扮演着辅助的作用,负责辅助NameNode管理工作。那么这篇博客,小菌就为大家分享secondarynameNode究竟是如何辅助管理的? ...原创 2019-11-06 20:36:47 · 2956 阅读 · 1 评论 -
HDFS中Fsimage,Edits详解(6)
本篇博客,小菌为大家带来的是HDFS中NameNode的Fsimage与Edits的详解。文章目录NameNode元数据解析查看元数据目录的配置FSimage文件当中的文件信息查看1.不转换成xml文件直接打开2.转换成xml文件打开3.把转换后的xml文件上传到windows上打开edits当中的文...原创 2019-11-06 11:11:25 · 3144 阅读 · 1 评论 -
HDFS的安全模式与文件权限检验(5)
安全模式 安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。...原创 2019-11-05 20:54:48 · 1814 阅读 · 0 评论 -
HDFS的高级命令使用——文件限额配置(4)
相信看过小菌之前的博客《HDFS的shell常用命令大全》的小伙伴们,肯定对于HDFS的shell常用命令已经不满足了,那么这篇博客,小菌为大家带来的是HDFS的高级命令使用——文件限额配置! 首先让我们来看...原创 2019-11-05 16:16:33 · 2038 阅读 · 0 评论 -
HDFS特性及缺点分析(3)
因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次小菌为大家带来的就是HDFS的特性以及缺点分析。HDFS特性 关于HDFS的特性,相信从...原创 2019-11-05 15:42:27 · 2007 阅读 · 0 评论 -
HDFS文件读写流程(2)
因为在之前的几篇博客中,小菌已经为大家带来了HDFS的基本概念及一些常用操作,这篇博客小菌将接着HDFS文件系统介绍的内容,为大家带来HDFS的读写流程!文件写入过程(重点)详细步骤解析:1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件...原创 2019-11-05 14:52:13 · 1922 阅读 · 1 评论 -
HDFS的shell常用命令大全
本次分享小菌带来的是关于在HDFS中shell的常用命令! 首先介绍基本语法 hdfs dfs 具体命令 ...原创 2019-11-04 21:46:43 · 3538 阅读 · 0 评论