2012年11月_liuhong1123

转载京东自主研发Hadoop高可用解决方案

原文地址：http://net.chinabyte.com/110/12476610.shtml　记者近日获悉，京东商城在Hadoop高可用方面的研究，取得了重大成果。在Hadoop集群运维方面，一直以来都有这样一个难题困扰着业界：线上集群，由于NameNode的异常，极有可能导致Hadoop集群服务中断;NameNode软硬件系统定期维护、升级也一直是让人头疼的问题——整个集群可

2012-11-27 14:31:20 1402 3

转载 Hadoop 分布系统的高可靠选择

最近美国东海岸飓风灾难，引发了关于灾难恢复的讨论。让我们看看Hadoop所提供的各种高可靠性选项。为了理解HA的存在的问题，首先让我们看看Cloudera关于Apache Hadoop 高可靠性的话，这样对于“以前在HDFS集群里，NameNode是一个单点故障(SPOF)。每一个集群都有一个NameNode，如果这台机器或者进程不可用的话，整个集群系统都不可用。故障的恢复仰仗于NameN

2012-11-20 11:20:11 909

转载跟facebook工程师交流HDFS笔记整理

首先声明，下面文章为转载文章，感谢兄弟的无私分享，我个人觉得写得很不错，而且借鉴的地方很多，就贴到自己的博客上来了，再次感谢！！原文地址：http://luoli523.com/blog/2012/11/03/gen-facebookgong-cheng-shi-jiao-liu-hdfsbi-ji-zheng-li/hadoop在纽约的大会今年是10月22日～10月25日召开的。被公

2012-11-19 23:50:58 799

转载 hadoop HA----Quorum Journal 设计

本文是hadoop HA 方案Quorum Journal设计的翻译。原文参考这个链接中的附件：https://issues.apache.org/jira/browse/HDFS-30771 概述1.1 背景 HDFS-1623和相关的JIRAs加入了对HDFS NameNode高可用性的支持，但是依赖一个共享存储目录，在里面存储共享的edit log。这个共享存储必须

2012-11-19 23:39:42 1243

转载 High Availability options with Hadoop distributions

With disaster recovery the talk of the town after recent storm on US east coast,let’s take a look at what options are available for High Availabilitywith various distributions of Hadoop.Le

2012-11-09 12:44:54 994

转载 HDFS NameNode HA框架设计文档（HDFS-1623：High Availability Framework for HDFS NN）

原文请参https://issues.apache.org/jira/browse/HDFS-1623译文如下：1 Problem Statement有很多方式可以使得NN更加的Available，例如：减少启动时间，配置热刷选，减少升级时间，NN的手动或自动的Failover。本文档通过Failover来解决NN的SPOF问题有很多种方式可以提供NN的

2012-11-09 09:52:58 772

转载 HADOOP:MapReduce作业运行机制

一，作业的提交Job.waitForCompletion(true): 1)此方法调用submit(). 在Submit()方法里面连接JobTracker，即生成一个内部JobSummitter（实际上是new JobClient(),同时生成一个JobSubmissionProtocol接口(JobTracker实现了此接口)对象jobSubmitClient(是它连接或对应着

2012-11-04 22:29:00 922

转载 Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc

2012-11-04 15:38:00 601

转载 HADOOP：MapReduce源码分析总结

参考： 1 caibinbupt的源代码分析http://caibinbupt.javaeye.com2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097http://coderplay.javaeye.com/blog/318602 3 Javen-Studio 咖啡小屋http://www.cppblog

2012-11-04 14:44:23 869

转载 MapReduce源码分析总结

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义

2012-11-04 14:42:28 712

liuhong的专栏