rainforc

一、基本概念      索引相信大家多多少少都接触过，索引的目的说白了就是加快数据的检索、排序和计算等，尤其是对于海量数据的快速检索，索引起到了至关重要的作用。大家都知道，我们基于传统数据库开发经常会遇到一个问题，就是这个SQL查询变慢，是不是索引没加？数据库的索引好比一本书前面的目录，如果明确知道按哪个字段来进行索引查找，查询效率还是挺高的，数据库的索引实际上是一个单独的、物理的数据库结...

11、接着上篇文章ApplicationMasterLaunch.handle(AMLaunchEventType.LAUNCH)被触发，接着开始调用RPC服务向NodeManager请求启动container,并触发RMAppAttemptEventType.LAUNCHED事件; 12、调用ContainerManagementProtocolPBClientImpl.startC...

6、接着上篇文章中的最后一步：ResourceManager服务端执行ClientRMService.submitApplication()，接着开始调用RMAppManager.submitApplication()进而来触发RMAppEvent事件，成为job调度运行事件触发的源头；（本系列文章主要分析job调度运行流程的主要事件流程，像其它的日志读写事件流程、container监控流...

1、通过hadoop -jar命令提交一个job，并且解析提交的各个参数，保存对应的属性或内容到configuration； 优化点：这里可以通过修改GenerticOptionPaser类，来解析自定义的属性，比如public jar包更新等。2、调用waitForCompletion提交job并轮询job运行状态；优化点：这里的job状态轮询在ResourceManager返回...

1、NodeManager初始化时会先初始化ContainerManagerImpl服务，从而触发LogAggregationService也被初始化，而该服务是用于处理applog的读写流程的。 2、LogAggregationService会根据各种事件触发，从而读取本地的container log，然后写到hdfs上的app-log-dir，并删除本地的container log...

1、job提交后，调用JobSubmitter的submitJobInternal方法提交job相关文件到hdfs 2、nodemanager启动时会初始化本地目录，并清除本地yarn.nodemanager.local-dirs下的filecache/usercache/nmprivate目录下的资源文件 3、nodemanager的container资源初始化：Resour...

前言：     上文介绍了Hadoop的IO序列化，大家应该可以知道其实Hadoop很多的设计也是专门为了MapReduce编程框架服务的，除了序列化还有专门的文件类：SequenceFile和MapFile，其中，MapFile是经过排序并带有索引的SequenceFile，而SequenceFile也是我们数据仓库原来在云梯1上最通用的数据文件，下面我将详细介绍下这两个文件类：一、Se...

前言：MapReduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看，shuffle是mapreduce的“心脏”，是奇迹出现的地方。Shuffle过...

一、关于序列化：      序列化，可以存储“活的”（ 只生存在内存里，关机断电就没有了，一般只能由本地的进程使用，而不能被发送到网络上的另外一台计算机）对象，可以将“活的”对象发送到远程计算机。      而把“活的”对象序列化，就是把“活的”对象转化成一串字节，而“反序列化”，就是从一串字节里解析出“活的”对象。于是，如果想把“活的”对象存储到文件，存储这串字节即可，如果想把“活的”对...

一、什么是Hadoop?基于2003年google发表Map/Reduce 和 Google File System(GFS)论文研发。用java实现的HDFS（Hadoop分布式文件系统）+Map/Reduce（并行编程计算处理框架）。对大量数据进行分布式处理的软件框架。 二、Hadoop的优势 1、高可靠性：HDFS假设计算元素和存储会失败，因此它维护多...

一、什么是列式存储讲列存储之前必须得先讲下行存储，因为行存储是大数据技术流行之前最为常见的一种数据存储方式，传统的关系数据库如Oracle、DB2、Mysql等都是将数据以行记录为单位进行组织，所以数据读写操作需要遍历行记录中所有的列，在存储机制上，行存储将行记录中各列的数据值串在一起进行存储，并且先存完第一行再存第二行，例如：1,Smith,Joe,40000;2,Jones,Mary,...

前言：   在数据部门工作已经是第三个年头，做过很多的数据产品，也接触了很多的业务数据和业务数据的生产。我的工作经历也大致分为这样几个阶段：第一阶段就是做数据产品，主要的工作就是把生产好的数据根据具体的业务把数据搬到网页上；第二个阶段开始尝试做了数据产品的产品，以配置化和平台化的方式玩出数据产品的页面；第三个阶段开始尝试做了数据仓库的产品，直接基于数据仓库模型组织的明细粒度数据进行即席...

什么是MPP架构？      众所周知，基于Map-Reduce模式的Hadoop擅长数据批处理，不是特别符合即时查询的场景。而业界当前做大数据实时查询一般都采用MPP架构，MPP全称Massively Parallel Processing，即大规模并行处理系统。大家都知道在数据库架构设计中，目前主要有Shared Everthing、和Shared Storage、Shared Not...

16、接着上篇文章LocalizationEventType.INIT_CONTAINER_RESOURCES事件被触发，对应ResourceLocalizationService.handle()被执行，分别会创建public、private、application三种资源对应的LocalResourcesTrackerImpl服务，接着LocalResourcesTrackerImpl.h...