关闭

HDFS之Node角色

Secondary NameNode:NameNode是一种logappend方式来存储对dfs的修改操作,editlog。 NameNode启动的时候,会去从fsimage中读取HDFS的状态,然后从editlog中恢复恢复对dfs的修改操作。然后在对fsimage写入新的状态,启动一个新的空的edits file.由于NameNode只会在其启动的时候,会合并fsimage和editlog....
阅读(962) 评论(0)

Apache Hadoop NextGen MapReduce (YARN)

Apache Hadoop NextGen MapReduce (YARN)MRV2的设计是基于分离JobTracker的主要职能,将以下2个职能放在2个单独的进程中,以前都是在一个(JobTracker)进程中。1、资源管理 2、Job调度/监控2个核心概念: 1、全局的资源管理器 global Resource Manager (RM) 2、Per Application 每个应用程序有一...
阅读(1139) 评论(0)

海量小文件网络传输copy优化

今天部署集群环境,拷贝了一下编译好的.class文件。...
阅读(3162) 评论(0)
    个人资料
    • 访问:496723次
    • 积分:5379
    • 等级:
    • 排名:第5341名
    • 原创:80篇
    • 转载:0篇
    • 译文:1篇
    • 评论:67条
    博客专栏
    微博
    文章分类
    最新评论