- 博客(2)
- 收藏
- 关注
RSS订阅原创 HDFS原理分析
2、客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况；2、NameNode会将子节点的相关元数据信息缓存在内存中，对于文件与Block块的信息会通过。
2023-04-09 21:01:33
78
1
原创 Hbase
这就实现了Hlog滚动的目的。Hbase会将Hlog的sequenceid和Hfile最大的sequenceid（刷新到的最新位置）进行比较，如果该Hlog文件中的sequenceid比刷新的最新位置的sequenceid都要小，那么这个Hlog就过期了，过期了以后，对应Hlog会被移动到.oldlogs目录。因为Hbase还有一个主从同步的功能，这个依赖Hlog来同步Hbase的变更，有一种情况不能删除Hlog，那就是Hlog虽然过期，但是对应的Hlog并没有同步完成，因此比较好的做好是移动到别的目录。
2023-04-06 19:11:48
191
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人