分布式
文章平均质量分 92
Even710
持之以恒
展开
-
java实现操作Hadoop
java api for hadoop基本操作文件读写 基本操作 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.Test; import org.junit.jupiter.api.BeforeEach; import org.junit.jupiter.ap...原创 2018-11-22 22:13:48 · 1059 阅读 · 0 评论 -
NameNode和DataNode工作机制
文章目录NameNode工作机制 NameNode工作机制 NameNode启动时,会把fsimage和edits 001加载到内存,并对fsimage进行合并,此时的fsimage是最新的镜像文件。 client执行增删改操作时,会使元数据发生变化,新建一个edits 002记录这些变化,此时的fsimage还是只有edits 001的记录。 当edits 002日志文件满了或者是触发了ch...原创 2018-12-04 09:06:28 · 610 阅读 · 1 评论