![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
等你下课_
努力起码可以大器晚成
展开
-
hadoop HA、Federation(联邦)
高可用性HA:尽量缩短因日常维护操作(计划)、突发的系统奔溃(非计划)所导致的停机时间,提高系统和应用的可用性一、背景:只有一个namenode 的HDFS集群存在单点故障:1、namenode机器宕机(非计划内),导致集群不可用,需要重启。2、namenode节点软件或硬件升级(计划内),导致集群不可用解决上述问题,hadoop HDFS高可用HA方案,HDFS通常由两个na...原创 2019-08-29 22:48:01 · 284 阅读 · 0 评论 -
hdfs如何添加和撤销数据节点
https://www.jianshu.com/p/cdda3390b3ae在HDFS中提供了dis.hosts (include文件)文件和dfs.exclude文件(exclude文件),对连接到namenode的数据节点进行管理,include和exclude保存在FNamesystem中的hostsReader中,Include文件:指定了可以连接到namenode的数据节点列表...原创 2019-09-09 06:14:21 · 244 阅读 · 0 评论 -
hadoop archive(HAR)
hadoop不适合存储小文件,在namenode中存储这些文件的元数据,小文件过多占用大量的namenode内存空间,存档文件(HAR文件)可以大大降低namenode的内存压力,hadoop archive是将众多的小文件打包成一个har文件,允许对文件进行透明的访问,也可以作为mapreduce的输入。多个文件被存档之后,会在存档文件中生成两个索引文件以及部分文件的集合部分文件中包含已...原创 2019-09-07 14:16:49 · 522 阅读 · 0 评论 -
hadoop对于小文件的处理方法
https://blog.csdn.net/weixin_36815898/article/details/90764410小文件:指文件size小于HDFS上block(dfs block size)大小的文件小文件如何产生:动态分区插入数据,产生大量的小文件,从而导致map数量剧增 reduce数量越多,小文件也越多,reduce的个数和输出文件个数一致 数据源本身就是大量的小...原创 2019-09-07 13:45:22 · 821 阅读 · 0 评论 -
hadoop如何衡量两个节点之间的距离
hadoop根据网络拓扑,将整个网络拓扑看成一棵树,树的每个节点代表集群中的每个机器(处理机或者路由器)两个节点直接的距离等于两个节点距离其公共节点的距离之和一般会把数据中心(center)、机架(rack)和节点(node)分别映射到不同的层次以下每种情况的带宽是递减的:同一节点中的两个程序 同一机架上的两个节点 同一数据中心的不同机架上的两个节点 不同数据中心的节点如果...原创 2019-09-07 12:41:35 · 589 阅读 · 0 评论 -
hdfs上副本怎么放置
事实上在实际生产的时候,节点在机架上的,在存放副本的时候考虑机架的问题数据分块存储和副本的存放,是保证可靠性和高性能的关键第一个副本通常放在客户端所在节点(此时假设客户端是集群中的一个节点),如果客户端不是集群中的一个节点,则第一个副本上传到任意一个datanode节点 第二个副本放在和第一个副本不同机架的任意datanode节点上 第三个副本放在和第二个副本相同机架的不同datano...原创 2019-09-07 12:25:09 · 150 阅读 · 0 评论 -
HDFS的一致性模型
在HDFS新建一个文件后,在hdfs文件系统中时立即可见的当数据块正在写入时,写入的内容不能立即可见,当写入的内容超过一个数据块时,第一个数据块就可见了正在写入的数据块时不可见的。除非调用sync()https://cloud.tencent.com/info/ca8219a2334e716c7ed0b5ba2b301b90.htmlHDFS某些地方为了性能可能会不符合POSIX(...原创 2019-09-07 12:22:24 · 481 阅读 · 0 评论 -
HDFS安全模式
Hadoop安全模式:安全模式只向客户端提供文件的读取,datanode节点也不会进行block的复制和删除(block副本数小于正常数)namenode启动时,首先将映射文件(fsimage)载入内存,并加载编辑日志edits中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(该操作不需要借助secongary namenode)和一个空的编辑日志ed...原创 2019-09-07 10:54:04 · 108 阅读 · 0 评论 -
fsimage和edits
fsimage保持着某一时刻的namenode信息,之后修改的信息保存在edits中。 fsimage并不保存block和datanode之间的关系,namenode将这种映射关系放在内存中,datanode启动通过注册汇报fsimage和edits合并过程:fsImage文件只会和某一时刻namenode内存中的元数据保持一致,当客户端做修改操作时,namenode会在edits文件中记...原创 2019-09-07 10:25:47 · 326 阅读 · 0 评论 -
hdfs中的接口类型
前言:Rpc协议就是Server实现一个声明了很多方法的接口并对外暴露此接口,Client通过调用此接口中声明的方法向server发送信息从而实现了与server的通信HDFS中的接口主要包括三种类型:客户端相关接口:ClientProtocol----客户端与namenode节点 ClientDataNodeProtocol----客户端与datanode节点服务器端相关接口:...原创 2019-09-07 10:18:28 · 1670 阅读 · 0 评论 -
HDFS读、写
Hdfs读取文件首先ClientProtocol是RPC代理对象和namenode具体方法对象要共同实现的接口1)get获取一个包含RPC代理对象的distributedFileSystem对象:首先通过FileSystem.get方法获得一个distributedFileSystem对象,该方法通过反射得到FileSystem子类的实例对象distributedFileSyst...原创 2019-09-01 21:35:40 · 64 阅读 · 0 评论 -
HDFS基础原理
HDFS:负责海量数据的存储HDFS采用master/slave架构,namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问一、namenode维护整个文件系统的文件目录树,文件/目录的元信息以及文件数据块block的索引信息以两种形式存储,fsimage和edit log,fsimage保持着某一时刻的namenode信息,之后修...原创 2019-08-29 23:42:45 · 101 阅读 · 0 评论 -
什么时候出现副本过多?如何检测并删除
https://blog.csdn.net/androidlushangderen/article/details/50760170哪些潜在的原因或条件会触发多余副本块的发生?数据节点重新上线,节点下线操作会导致节点的block块在集群中大量拷贝,一旦此节点取消下线,之前已拷贝的block必然会成为多余的副本块. 人为重新设置block replication副本数,还是以A副本举例,A...原创 2019-09-09 06:10:49 · 203 阅读 · 0 评论