bitcarmanlee的博客

专注算法与数据,正在计划写机器学习方面的数学书籍,有出版社的朋友请联系。微信1833133594...

Hbase KeyValue结构详解

1综述 Hbase是面向列的存储结构,而实际存储单元里存储的都是KeyValue结构。在看Hbase的API中,发现Hbase的API中就有KeyValue类,这个KeyValue类就是Hbase中数据存储的基本类型。那么这个KeyValue里到底包含哪些内容了?为了方便理解,特意为大家来剖析一...

2018-01-05 12:18:33

阅读数 2446

评论数 0

MapReduce操作Hbase史上最完整范例

Hbase里的数据量一般都小不了,因此MapReduce跟Hbase就成了天然的好搭档。本文中,本博主将给出最详细的用MR读取Hbase中数据的实例。1.ZK授权表首先一点来说,Hbase是强依赖于ZK的。博主所在的team,就经常出现ZK连接数太多被打爆然后Hbase挂了的情况。一般在访问Hba...

2017-03-14 20:50:26

阅读数 14021

评论数 2

spark操作读取hbase实例

博主项目实践中,经常需要用spark从hbase中读取数据。其中,spark的版本为1.6,hbase的版本为0.98。现在记录一下如何在spark中操作读取hbase中的数据。 对于这种操作型的需求,没有什么比直接上代码更简单明了的了。so,show me the code!object De...

2017-01-23 16:49:15

阅读数 4477

评论数 0

Hbase 设计与开发实战

1.Hbase 概述大数据及 NoSQL 的前世今生 传统的关系型数据库处理方式是基于全面的 ACID 保证,遵循 SQL92 的标准表设计模式(范式)和数据类型,基于 SQL 语言的 DML 数据交互方式。长期以来这种基于关系型数据库的 IT 信息化建设中发展良好,但受制于关系型数据库提供的数...

2016-11-10 14:07:45

阅读数 515

评论数 0

Hbase rowkey 设计原则

HBase是三维有序存储的,三维指的是:RowKey(行健)、column key(columnFamily和qualifier)、TimeStamp(时间戳),通过这三个维度我们可以对HBase中的数据进行快速定位。下面我们主要来讨论RowKey的设计原则:HBase中RowKey可以唯一标识一...

2016-05-24 09:49:12

阅读数 7641

评论数 0

linux java Cannot allocate memory

登录hbase shell的时候,给balabala报一堆错:[xxx@hive001 lei.wang]$ hbase shell Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00007fc856e00...

2016-04-01 16:14:54

阅读数 13923

评论数 0

hbase shell 入门

下面我们将以“一个学生成绩表”的例子来详细介绍常用的 HBase 命令及其使用方法。 这里 grad 对于表来说是一个列,course 对于表来说是一个列族,这个列族由三个列组成 china、math 和 english,当然我们可以根据我们的需要在 course 中建立更多的列族,如com...

2016-03-25 22:35:32

阅读数 633

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭