01.Spark简介（Spark VS MapReduce） 02.Spark生态系统 03.Scala集合简介 04.spark的关键组件 05.核心概念：弹性分布式数据集 06.RDD的操作(转换（transformation）动作（actions）) 07.RDD依赖 08.Wordcount例子 09. 提交job 10.编程接口 11.Spark运行架构 12.Spark SQL 13.SparkStreaming 14.练习题 15.延伸

转载请注明原文链接：http://blog.csdn.net/odailidong/article/details/41794403 一、服务端调优  1、参数配置    1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好。

HBase在保证高性能的同时，为用户提供了便于理解的一致性数据模型MVCC (Multi Version Concurrency Control)，即多版本并发控制技术，把数据库的行锁与行的多个版本结合起来，从而去提高数据库系统的并发性能。 要理解mvcc，首先需知道为什么需要进行并发控制，我们知道关系型数据库一般都提供了跨越所有数据的ACID特性，为了性能考虑，HBase只提供了基于单行的AC...

region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。这两种实现并无多大差异。转载请注明出处：http://blog.csdn.net/odailidong/article/details/42217439

原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。水平有限，请多指正！ 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量日志数据设计的可靠的、可用的分布式系统。它有一个基于流式数据流的简单灵活的体系。它提供了可控的

一、引言 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行全局排序的,有伙伴可能对ASCII字典序印象不够深刻，...

IOTA是什么？你是否为下一代大数据架构做好准备？ 经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lambda架构如...