hbase
JasonLee实时计算
博主一直从事大数据开发的工作,工作经验非常丰富,目前主要专注于 Flink 实时计算领域,博客里面主要分享 spark 和 flink 的实战系列和源码分析的文章,欢迎交流和沟通,也欢迎关注我,希望和你一起学习,共同进步!
展开
-
hbase的常用命令
现在做的项目用到了hbase,今天就记录一下hbase的一些常用的命令,只是一些比较常用的,当然还有很多命令.1.进入hbase shell console2.查看所有的表: list3.创建表: create 't1', {NAME => 'f1', VERSIONS => 5, TTL => 2592000, BLOCKCACHE => true},创建表...原创 2018-07-29 13:10:00 · 713 阅读 · 0 评论 -
【Hbase实战系列】hbase 如何批量删除数据
今天主要来说一下Hbase怎么批量删除数据,我们都知道Hbase是一个Nosql的分布式存储数据引擎,它可以支持千万级别的QPS写入,但是有时候我们需要批量的删除他的数据,今天就来介绍两种方法:1.首先我们想到的就是TTL,TTL即Time To Live的缩写,顾名思义就是生存期的意思。TTL设置了一个基于时间戳的临界值, 内部的管理会自动检查TTL值是否达到上限,在major合并过程中时间...原创 2018-11-16 23:35:37 · 9763 阅读 · 2 评论 -
【Spark实战系列】sparkstreaming 实时写入 Hbase(saveAsNewAPIHadoopDataset) 方法
之前的博客中也写过sparkstreaming批量写入hbase,今天主要介绍一下用新的API写入Hbase,直接看代码吧:package hbaseimport kafka.PropertiesScalaUtilsimport net.sf.json.JSONObjectimport org.apache.hadoop.hbase.client.{Put, Result}impo...原创 2018-12-27 19:49:25 · 4687 阅读 · 5 评论 -
Hbase的Rowkey设计以及如何进行预分区
今天有人问我Hbase的rowkey设计和预分区的问题,这篇文字就简单介绍一下.,关于Hbase的表的一些基本概念这里就不说了,直接说重点,尽可能说的简单一点,废话就不写了.1.什么是Rowkey?我们知道Hbase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式.Hbase是采用K,V存储的,...原创 2018-12-25 22:10:44 · 5103 阅读 · 0 评论 -
【Spark实战系列】spark 读取 hbase 数据(newAPIHadoopRDD方式)
用spark读取hbase数据的方法有很多种,今天就用spark内置的方法newAPIHadoopRDD来实现了一个简单的demo,代码非常简单,就不加注释了.spark写入hbase的可以看之前的两篇文章https://blog.csdn.net/xianpanjia4616/article/details/85301998,https://blog.csdn.net/xianpanjia...原创 2019-04-09 18:23:59 · 6544 阅读 · 6 评论 -
hbase怎么修改表名?
hbase本身没有提供修改表名的命令,那如果我们需要修改表名,该怎么办呢? 可以通过snapshot的功能来实现先来看下hbase里面有哪些表: list我们把test1修改成test21,禁用表disable 'test1'2,给表做快照snapshot 'test1', 'test1_snapshot'3,克隆快照为新的表名clone_snapshot 'te...原创 2019-09-26 13:42:59 · 2421 阅读 · 0 评论 -
Phoenix的安装和使用
直接看我的公众号吧,就不在复制了https://mp.weixin.qq.com/s/yNAmlFPnHMqCDIXhFVLhrw欢迎大家关注我的公众号原创 2019-09-27 23:53:58 · 299 阅读 · 0 评论