自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘本龙的专栏

个人邮箱:3089008201@qq.com. 技术交流群:684457529

原创 Java对象占用堆内存大小计算

概述 最近在看hbase源码,里面有对象占用内存大小的计算。正好笔记记录一下。 一般来说,int占4个字节,long占8个字节,等等。但是对象在队中的存储不止其包含的字段所占用的空间,还包括对象头,对齐填充等信息。接下来就结合hbase源码分析一下对象在堆中的存储情况。 原生类型(primitiv...

2019-11-27 17:57:40

阅读数 33

评论数 0

原创 hbase/hadoop异常:No lease on /hbase/archive/data/... File is not open for writing

问题描述 我在进行hbase快照拷贝时报了以下错误: ./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy...

2019-11-21 19:11:36

阅读数 14

评论数 0

原创 hbase 预分区Pre-splitting 解决热点问题

预分区 在创建表时我们可以指定分区数量及规则等信息。 最简单的方法是在创建表时指定分割点数组。 请注意,将字符串文字指定为拆分点时,它们将基于字符串的基础字节表示形式创建拆分点。 因此,当指定分割点“ 10”时,实际上是在指定字节分割点“ \ x31 \ 30”。 分割点将定义n + 1个区域,其...

2019-11-05 19:59:17

阅读数 24

评论数 0

原创 hbase集群滚动重启Rolling Restart

概述 在我们修改了regionserver的配置后,需要对某个或所有的regionserver进行重启。 或者在集群升级到新的版本时进行滚动升级。 以上都需要尽可能的不影响业务,集群保持存活可用。 当然最简单的方法是停止整个集群,修改完后再重启,但是显然不适用。下面看看如何使用rolling-re...

2019-11-05 11:59:44

阅读数 34

评论数 0

原创 HBASE手动触发major_compact

定时执行脚本 #!/bin/bash source /etc/profile sh ./hbase shell <<EOF major_compact 'table_name' EOF major_compact 语法: #Compact all regions in...

2019-11-05 11:26:52

阅读数 26

评论数 0

原创 hbase扩容 缩容

初始化集群 初始化集群:hadoop三个DataNode,HBASE集群只有一个regionserver。 后面我们不停服的情况下,动态添加一个机器node4,在node4上启动Hregionserver服务。 hbase动态扩容 配置regionservers 配置每台机器的regionse...

2019-11-04 19:38:37

阅读数 47

评论数 0

原创 hbase 负载均衡

概述 hbase 有多个regionserver,固需要负载均衡。本文讲述hbase的负载均衡如何使用。 以下命令都是在hbase shell 控制台使用的。 balance_switch hbase(main):001:0> help 'balance_switch' Enable...

2019-11-04 19:32:22

阅读数 19

评论数 0

原创 hadoop 动态扩容 缩容

初始化集群 初始化集群:hadoop三个DataNode,HBASE集群只有一个regionserver。 后面我们不停服的情况下,动态添加一个机器node4,在node4上启动DataNode和Hregionserver服务。 hadoop动态扩容 准备工作 准备工作与新搭建集群类似,这里参...

2019-11-04 19:09:44

阅读数 20

评论数 0

原创 hbase源码调试

为了调试源码,我们最好只启动一个regionserver。 hbase集群配置 为了避免在调试过程中由于请求超时而导致地调试中断,可以适当的延长请求的超时时间,修改hbase-site.xml文件中的zookeeper.session.timeout和hbase.zookeeper.propert...

2019-10-31 19:47:03

阅读数 13

评论数 0

原创 hbase--cluster replication 源码分析

复制操作步骤 准备两个集群,clusterA,clusterB . 两个集群都建表 create table PERSON (id integer not null primary key,name varchar,age integer, sex INTEGER, val DOUBLE) c...

2019-10-30 18:31:41

阅读数 15

评论数 0

原创 hbase --HLOG写入流程源码分析

hlog写入流程 如果配置了属性hbase.wal.provide=multiwal,则一个RS会有多个HLOG。This parallelization is done by partitioning incoming edits by their Region,并行化是通过对region分...

2019-10-30 18:27:33

阅读数 24

评论数 0

转载 为什么ArrayBlockingQueue单锁实现,LinkedBlockingQueue双锁实现

首先看一下本人两篇源码解析: jdk11源码–LinkedBlockingQueue源码分析 jdk11源码–ArrayBlockingQueue源码分析 细心的同学会发现,ArrayBlockingQueue的实现是“单锁+两个condition”,而LinkedBlockingQueue是...

2019-10-30 17:14:07

阅读数 13

评论数 0

原创 LinkedBlockingQueue 和 ConcurrentLinkedQueue 的区别与联系

联系 LinkedBlockingQueue 与 ConcurrentLinkedQueue 都是先进先出 FIFO的线程同步的队列。 阻塞队列 典型例子是 LinkedBlockingQueue 适用阻塞队列的好处:多线程操作共同的队列时不需要额外的同步,另外就是队列会自动平衡负载,即那边(生产...

2019-10-30 16:52:55

阅读数 9

评论数 0

原创 OKhttp3 简单使用

概述 okhttp 官网:https://square.github.io/okhttp/ HTTP是现代应用网络的方式。这就是我们交换数据和媒体的方式。有效地执行HTTP可以加快您的负载并节省带宽。 OkHttp是一个默认有效的HTTP客户端: HTTP / 2支持允许对同一主机的所有请求共享...

2019-10-05 14:03:32

阅读数 26

评论数 0

原创 phoenix5表结构变更,修改字段类型

概述 众所周知,hbase中存储的数据都是二进制的字节数组,是没有数据类型的 ,所以这里的数据类型也就是说的Phoenix中的数据类型。 在Phoenix中,有以下几张系统表,其中SYSTEM.CATALOG表保存了表的元数据信息 SYSTEM:CATALOG ...

2019-09-27 17:18:14

阅读数 172

评论数 0

原创 HBase 多租户:RegionServer Group

RegionServer Group 通过对 RegionServer 进行分组,不同的 RegionServer 分到不同的组。每个组可以按需挂载不同的表,并且当组内的表发生异常后,Region 不会迁移到其他的组。这样,每个组就相当于一个逻辑上的子集群,通过这种方式达到资源隔离的效果,降低管理...

2019-09-11 16:57:22

阅读数 46

评论数 0

原创 hbase 数据迁移 : CopyTable

上一篇文章介绍了快照方式的迁移: hbase数据迁移:基于 hbase Snapshot。本文介绍基于CopyTable迁移。 copyTable是于HBase数据迁移的工具之一,以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的,利用MR去scan原表的数据,然后...

2019-09-11 16:22:36

阅读数 46

评论数 0

原创 Phoenix4.7 向 Phoenix 5.0 集群迁移数据

前面讲述了Phoenix hbase 的数据迁移:hbase数据迁移:基于 hbase Snapshot。 但这个是相同版本的。但是我想要将Phoenix4.7创建的表的数据迁移到Phoenix5.0.0集群中(Phoenix5.0.0 hbase 2.1.5),数据迁移过去了,但是查询时只有p...

2019-08-07 19:59:10

阅读数 128

评论数 0

原创 hbase 多版本version

默认保存version数量 测试SQL create table PERSON3 (id integer not null primary key,name varchar,age integer, sex INTEGER, val DOUBLE); 创建成后,查看表结构信息: hbase(ma...

2019-08-06 13:06:49

阅读数 229

评论数 0

原创 Phoenix 5索引

文章目录增删改查phoenix shell下创建view映射hbase表退出Phoenixpsql.py 执行外部SQL文件创建表导入数据复杂SQL:计数平均值聚合 Phoenix5.0 安装部署 搭建了Phoenix环境,本文介绍一下Phoenix的shell使用。 增删改查 下面演示一下创建表...

2019-08-03 16:39:03

阅读数 99

评论数 0

提示
确定要删除当前文章?
取消 删除