![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
OopsOutOfMemory
http://weibo.com/oopsoom
展开
-
海量小文件网络传输copy优化
今天部署集群环境,拷贝了一下编译好的.class文件。原创 2014-04-21 15:46:11 · 6884 阅读 · 0 评论 -
Apache Hadoop NextGen MapReduce (YARN)
Apache Hadoop NextGen MapReduce (YARN)MRV2的设计是基于分离JobTracker的主要职能,将以下2个职能放在2个单独的进程中,以前都是在一个(JobTracker)进程中。1、资源管理 2、Job调度/监控2个核心概念: 1、全局的资源管理器 global Resource Manager (RM) 2、Per Application 每个应用程序有一翻译 2015-04-17 18:03:04 · 1499 阅读 · 0 评论 -
HDFS之Node角色
Secondary NameNode:NameNode是一种logappend方式来存储对dfs的修改操作,editlog。 NameNode启动的时候,会去从fsimage中读取HDFS的状态,然后从editlog中恢复恢复对dfs的修改操作。然后在对fsimage写入新的状态,启动一个新的空的edits file.由于NameNode只会在其启动的时候,会合并fsimage和editlog.原创 2015-08-04 16:13:01 · 2175 阅读 · 0 评论