- 博客(10)
- 收藏
- 关注
RSS订阅转载 UnderReplicatedBlocks处理流程
hdfs处理block副本不足、分布不合理的流程如下： 优先级解释： QUEUE_HIGHEST_PRIORITY: the blocks that must be replicated first. That is blocks with only one copy, o...
2019-09-01 13:04:00
449
转载 LightWeightGSet
为了降低保存block的内存开销，同时保证访问效率，namenode使用 LightWeightGSet这一数据结构。 LightWeightGSet同HashMap一样使用数组 + 链表的结构，但是有几点不同： 数组长度初始化时就确定了，以后不会再变化，所有没有rehash。 ...
2019-08-24 11:56:00
166
转载 hadoop SLA
SLA：Service Level Authorization(服务层授权) sla 通过配置访问策略来控制哪些用户、哪些用户组、哪些机器可以访问特定的服务。 如果启用了sla (hadoop.security.authorization=true)，则每次服务端收到rp...
2019-08-17 09:24:00
190
转载 hdfs Balancer剖析
balance过程就是从存储使用率超出集群平均使用率的datanode上将超出的block移动到低于集群平均使用率的datanode上，最终满足平衡标准。 over-utilized------>under-utilized over-utilized------>...
2019-08-11 09:06:00
297
转载 FSEditLog之核心类分析
1、JournalSet JournalSet是维护Journals的集合，FSEditLog通过initJournals(List dirs)填充该集合。 private synchronized void initJournals(List<URI> dirs) {...
2018-11-12 11:52:00
104
转载 FSEditLog之edit 记录过程
HA模式下所有对namespace的修改操作都会被nn优先记录[HDFS-2874]到jnode集群以便跟snn共享，然后再记录到nn本地文件中。通常JournalSet中维护了两类记录edit的方式:通过QuorumOutputStream 记录到所有的jnode中，图中的4--&g...
2018-11-11 17:21:00
168
转载 Standby Namenode Checkpoint过程剖析
Standby Namenode(sbn)在进入standby状态后对FSNamesystem调用startStandbyServices(final Configuration conf)，该方法会创建两个重要的对象：EditLogTailer 和 StandbyCheckp...
2018-10-13 10:59:00
220
转载 hdfs元数据文件(fsimage、edits)清理
Standby namenode (sbn)的EditLogTailer的功能之一就是触发Active Namenode(nn) rollEditLog。每隔${dfs.ha.tail-edits.period}秒(默认60)秒，EditLogTailer检测一次当前时间距离上一次roll的时...
2018-10-07 12:06:00
1464
转载 hdfs auditlog(审计日志)
hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作，详细信息包括操作成功与否、用户名称、客户机地址、操作命令、操作的目录等。对于用户的每一个操作，namenode都会将这些信息以key-value对的形式组织成固定格式的一条日志，然后记录到audit.log文...
2018-10-07 10:05:00
743
转载 hadoop集群间数据迁移工具
背景 当前比较流行的hdfs间数据迁移工具有hadoop默认提供的distcp，阿里开源的DataX，这些工具能够满足常规的大部分需求，但是当时碰到hadoop版本不一致、keberos授权等场景时就行不通了。针对这些特殊的应用场景和实际需求我就构思并实现了HdfsDataExch...
2018-10-05 11:35:00
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人