2016年05月_lipeng_bigdata

原创《Redis设计与实现》阅读：Redis底层研究之简单动态字符串SDS

除仅用于字符串字面量的情况外，对于可以被修改值的字符串的表示，Redis底层并没有采用C语言传统的字符串表示，即以空字符结尾的字符数组，而是采用专门为其设计的简单动态字符串作为其默认字符串表示，其英文全称为Simple Dynamic String，简称SDS。除了用于保存数据库中字符串值外，SDS也可以用于缓冲区buffer，比如AOF中的缓冲区、客户端输入缓冲区等。本文，我们将详细研究简单动态字符串SDS的实现及其在性能等方面的独特之处。

2016-05-14 13:06:33 6339

转载（转载）Kafka文件存储机制那些事

转自《Kafka文件存储机制那些事》，by美团点评技术团队，地址：http://tech.meituan.com/kafka-fs-design-theory.html！分析的很不错，转载下来！ Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可

2016-05-11 13:47:49 5097

转载（转载）从Apache Kafka 重温文件高效读写

文章转自《从Apache Kafka 重温文件高效读写》，地址：http://calvin1978.blogcn.com/articles/kafkaio.html！写的非常不多，转载下来！0. Overview卡夫卡说：不要害怕文件系统。它就那么简简单单地用顺序写的普通文件，借力于Linux内核的Page Cache，不(显式)用内存，胜用内存，完全没有别家那样要同时维护内存中数

2016-05-11 13:41:00 6327

原创 MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案的一些思考

MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案在性能和业务逻辑方面的考虑，您或许不以为然，可能觉得性能提升不大，但是如果在大规模集群中，当作业数量庞大、任务数目数量庞大时，这种优势就愈发明显，而它带来的好处，于已，于别的作业来说，都会是一种福音！这种设计上的细节，值得我们学习、借鉴与反思！

2016-05-07 09:42:57 8852

原创 Yarn源码分析之MapReduce作业中任务Task调度整体流程（一）

v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，会触发作业由SETUP状态转换到RUNNING状态，而作业状态转换中涉及作业信息的处理，是由SetupCompletedTransition来完成的，它主要做了四件事：1、通过设置作业Job的成员变量setupProgress为1，标记作业setup已完成；2、调度作业Job的Map Task；3、调度作业的JobReduce Task；4、如果没有task了，则生成JOB_COMPLETED事件并交由作业的事件处理器

2016-05-06 14:25:41 11898

原创 MapReduce源码分析之作业Job状态机解析（一）简介与正常流程浅析

Job状态机维护了MapReduce作业的整个生命周期，即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中，其主要包括14种状态和19种导致状态发生的事件。

2016-05-05 10:38:12 7842

原创 Yarn源码分析之如何确定作业运行方式Uber or Non-Uber？

作业运行方式Uber or Non-Uber是通过Job的makeUberDecision()方法，传入作业大小inputLength来确定的，本文，我们将研究这一话题，即如何确定作业运行方式Uber or Non-Uber？

2016-05-03 18:35:18 15489

原创 Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（二）

我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。

2016-05-01 03:49:14 10823

原创 Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）