自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

牧童的专栏

大数据技术讲解

  • 博客(18)
  • 收藏
  • 关注

原创 HBASE PUT讲解

客户端就不多讲了、主要讲服务端客户端主要操作就是将put放到缓存中、缓存中数据达到设定值之后就开始分类到不同的RS上去执行,用Futrue接收返回结果服务端:批量添加服务端的入口为:multi(MultiAction multi) 按Region分类判断RS  mem时候超了最高 globalMemStoreLimit ,如果超过执行下面------------

2016-02-18 19:00:48 2555

原创 hbase 之 compaction

主要基于0.94.17compaction 什么时候出发等在Chore部分已经进行了讲解,下面我们看一下具体的guocheng

2016-02-18 19:00:11 502

原创 hbase 之 bloomfilter

bloomfilter  原理是什么大家可以网上查找详细资料挺多

2016-02-18 18:59:36 765 2

原创 hbase 之 split

首先split的触发条件是:

2016-02-18 18:59:22 690

原创 hbase 线程处理

初始化HTable的时候会创建一个线程池(Threadpool)、

2016-02-18 18:58:53 1058

原创 hadoop2.2.0 关于hdfs的梳理

1、关于对 HDFS的管理可以通过命令进行分析bin/hadoop dfsadmin

2016-02-18 18:58:41 264

原创 HBase 之 TableDescriptors FSTableDescriptors HTableDescriptor HColumnDescriptor

1、 HColumnDescriptor  描述列族的属性信息

2016-02-18 18:58:00 6088

原创 bloom filter

bloom filter 也称"布隆过滤器"是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,简单的逻辑就是将一个数据值映射到一个二进制L长度的K个位上,有点类似于bit-map的情况,它可以以较低的空间占用去判断某一个元素是不是在某个集合中,对于元素不在集合中的情况的判断率是100%的,但是对于元素在某个集合的情况的判断率是有误差的,误差可以通过调节K和L做调整,可以应用

2015-07-25 19:37:58 278

原创 hbase 客户端HTablePool

1、首先定义一个池

2014-08-06 18:05:38 304

原创 通过hbase NIO学习

Hbase  server端接收RPC请求是通过 listener ne

2014-07-15 14:37:03 413

原创 Hbase 之 scan

我们先看一下scan类的描述:

2014-05-08 18:52:45 634

原创 hbase 之 monitoring

TaskMonitor顾名思义 就是任务监控

2014-05-08 13:53:51 536

原创 hbase 之 presplit

使用HBase Shell建表的时候,除了一些常用的option以外,我们还可以同时建立一些预分区,这样可以预防初次插入数据时热点问题。通过直接输入create,我们可以看到有如下提示:?123456789101112Examples:   hbase> create't1', {NAME

2014-04-26 11:31:33 1563

原创 Hbase 之zookeeper

推荐zookeeper 的入门:http://sishuok.com/forum/blogPost/list/5450.html接下来讲一下hbase怎么应用hbase先看了zookeeper和hbase结合的架构ps:uml 用的不熟悉,而且很卡,只画了个大概,process的参数是:WatchedEvent当hbase有变化的时候process就会获取到变动事件,变动事

2014-04-23 14:14:42 520

原创 hbase 之 Coprocessor

Coprocessor  主要有两大功能点 一、Observer ,有点象拦截器或spring中的通知等,直白的描述就是在一个函数do() 执行前加predo()执行后加 postdo()通过下面序列图我们看一下Observer怎么和其它组件一起工作的二、Endpoint,最容易理解的就是当我们要在做count的时候,我们需要将所有计算count的值都返回,然后在客户端再循

2014-04-23 14:09:23 554

原创 HregionServer 启动部分讲解

记录JVMINFO RuntimeMXBean runtime = ManagementFactory.getRuntimeMXBean(); if (runtime != null) { LOG.info("vmName=" + runtime.getVmName() + ", vmVendor=" + runtime.getVmVend

2014-03-27 16:40:02 855

原创 Hmaster 启动讲解

ps:发现想写明白确实不太容易、以下会慢慢完善Hmaster启动会先执行Hmaster 构造函数,看看它都做了什么:初始化conf、rpcServer、isa(InetAddressServer)、ServerName、zookeep、rpcServer start 、metrics如果应用security注意以下两点:login the zookeeper c

2014-03-25 13:32:06 1045

原创 Hbase 执行事件(EventHandler 、 ExcutorService 、Excutor)

EventHandler  是一个Hbase所有事件的一个抽象类,所有子类都应该实现process方法,如果有必要子类需要在自己的构造函数中去检查表是否存在、是否disable等等。EventHandler中定义EventType 即事件类型,事件类型主要有如下几大类 // Messages originating from RS (NOTE: there is NO direct

2014-03-24 15:25:57 904

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除