2016年04月_bryceforphy

原创 HBase的put流程源码分析

hbase是一个nosql型数据库，本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的。HBase作为一种列族数据库，其将相关性较高的列聚合成一个列族单元，不同的列族单元物理上存储在不同的文件（HFile）内。一个表的数据会水平切割成不同的region分布在集群中不同的regionserver上。客户端访问集群时会首先得到该表的region在集群中的分布，之后的数据交换由客户端和

2016-04-29 10:32:59 11072

原创 HBase连接池技术

先看官方文档的总体描述：hbase有两种获得connection的方法，分别是如下两种： Connection connection = ConnectionFactory.createConnection(conf); Connection connection = HConnectionManager.createConnection(conf);

2016-04-26 21:42:59 24608 5

原创使用YCSB对HBase进行压测

（一）YCSB介绍：YCSB，全称为“Yahoo！Cloud Serving Benchmark”。是雅虎开发的用来对云服务进行基础测试的工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase、Redis等等。在运行YCSB的时候，可以配置不同的workload和DB，也可以指定线程数&并发数等其他参数。（二）使用姿势：以最常见的HBas

2016-04-26 21:22:02 7343 1

原创 HBase集群间不停服迁移数据

基本思路就是首先拷贝并复制snapshot到目的集群，然后开启两个集群间的数据实时同步，最后，将创建snapshot到开启数据同步之间的数据通过MR任务拷贝。以表test_table为例： 1、通过snapshot把历史数据导入到从集群: 在原集群执行以下指令： a、list_snapshots b、snapshot ‘test_table’, ‘test_ta

2016-04-25 15:08:07 3164 2

原创 Spark源码分析之Scheduler模块(TaskScheduler)

DAGScheduler将任务提交到TaskScheduler之后，接下来由TaskScheduler负责任务的调度。TaskScheduler是一个trait（接口类），它的实现类是TaskSchedulerImpl。具体内容包括：1、出现shuffle输出lost要报告fetch failed错误2、碰到straggle任务需要放到别的节点上重试3、为每个TaskSet

2016-04-23 11:57:07 1472

原创 Spark资源调度中的通信流程

spark的调度包括资源调度和任务调度两种。前面介绍过spark的任务调度包括DAGScheduler&TaskScheduler，本文主要介绍资源调度，包括资源调度中涉及的各模块以及它们之间的通信。Spark中物理节点包括三者，分别是client、master&worker，而与资源调度相关的角色有四个，分别是driver、master、worker和executor。这几个节点与角

2016-04-22 18:21:08 2509

原创 HBase2.0的可用性与一致性

HBase在2.0.0版本之后在可用性上进行了发展，具体原理如下图所示：由上图可知，region将不再只保存在某一单独的regionserver上，而是选择其他的两个regionserver分别存储该region 的两个备份，这样，某台regionserver挂掉时，客户端仍然可以从其它regionserver上备份的region中读到数据，如此保证了hbase的读高可用，

2016-04-21 17:18:19 6838 3

进一步有一步的欢喜