hadoop
文章平均质量分 62
lee1114926882
内向>外向
展开
-
Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包...原创 2015-03-03 12:08:19 · 97 阅读 · 0 评论 -
Hadoop安装遇到的各种异常及解决办法
异常一: 2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixe...原创 2015-03-03 14:26:44 · 302 阅读 · 0 评论 -
hadoop中fsimage和edits的区别
1、概念: fsimage保存了最新的元数据检查点。 edits保存自最新检查点后的命名空间的变化。 2、工作原理: 从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化。 这种机制有个问题:因edits存放在Namenod...原创 2015-03-10 17:40:11 · 563 阅读 · 0 评论