hbase
文章平均质量分 61
TMH_ITBOY
System.out.println("代码是程序员的朋友,虽然没有热情,但是很真实");
____The most handsome ITBoy
展开
-
Apache avro常用Java中数据类型序列与反序列化
背景在大数据领域,总是会遇到需要将各种数据类型序列化成字节数组,或者从字节数组反序列化回常用数据类型的场景,比如,Spark中推荐使用kyro,HBase中,使用HBase提供的工具来进行序列化以及反序列化,HBase内部使用google的probuff来序列化进行网络通讯等情况,以及hadoop使用Apache avro来序列化。当然,各种序列化方式的性能以及效率各种优缺点(此文不做对比)。以上序列化都是框架内部已经给我们做好了序列化以及反序列化操作,如果我们在实际工作中,需要自己手动来序列化的场景,原创 2021-02-01 13:50:42 · 1216 阅读 · 1 评论 -
Hbase的RowKey设计原则
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过ge...转载 2018-07-26 17:37:17 · 227 阅读 · 0 评论 -
详解HBase架构原理
一、什么是HBase         HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。   &转载 2018-07-26 17:41:19 · 284 阅读 · 0 评论 -
hbase的概述
文章转载于:https://blog.csdn.net/qq_37095882/article/details/78129158感谢原创!!!! 一、hbase的概述概述HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的...转载 2018-08-16 10:52:14 · 303 阅读 · 0 评论 -
多线程读取DBF文件
Java多线程读取大文件需求需要将DBF文件解析后存储到HBase 或者HDFS.起初打算使用Kettle读取,然后转存到HBase,小文件还好,一下子就ok来,但是,遇到一个1G大小(测试阶段,实际生产远远大于1G)的时候,Kettle输出到HBase时实在太慢,可能由于HBase的技术水平有限,再怎么优化,还是很慢.于是想着自己写一个程序解决一下,结果还是和kettle的差不多,就有点尴尬...原创 2019-04-01 23:09:22 · 1132 阅读 · 1 评论 -
HBase 2.0版本协处理器 Endpoint使用
在 HBase2.0之前使用协处理器 Endpoint 时,使用的方式是实现CoprocessorService,Coprocessor这两个接口,但是在2.0版本中,这么做在 hbase regionServer的日志中显示 Endpoint 加载成功了,但是在 hbase 的 regionServer UI 界面,并没有显示已经加载的Endpoint协处理器,也没有报错日志,很头疼.同时Cop...原创 2019-05-13 23:32:42 · 1705 阅读 · 4 评论 -
protobuf原理以及在 Idea 中 Java 的用法示例
转载部分 Start>>>>>>此部分的原文连接:https://www.jianshu.com/p/419efe983cb2,尊重原创,原理部分请参考原文 protobuf是google团队开发的用于高效存储和读取结构化数据的工具。什么是结构化数据呢,正如字面上表达的,就是带有一定结构的数据。比如电话簿上有很多...原创 2019-07-30 00:15:27 · 470 阅读 · 0 评论 -
Spark生成HBase 的 HFile 文件,并使用BulkLoad 方式将 HFile 文件加载到对应的表中
先看一个问题java.io.IOException: Added a key not lexically larger than previous. Current cell = M00000006/info:age/1563723718005/Put/vlen=4/seqid=0, lastCell = M00000006/info:name/1563723718005/Put/vlen=2/...原创 2019-07-22 00:07:08 · 2234 阅读 · 3 评论