hbase
文章平均质量分 53
AuroraPetard
这个作者很懒,什么都没留下…
展开
-
HBase学习
HBase基本机构RowKey 一行 Timestamp时间戳版本号 列族Family 列Qualifier 值Valuerowkey行键 相对于一行的idTimestamp 版本号 多个版本的数据 默认没有指定取的是最新的值Family 列族 存放多个列 可以有多个列族Qualifier 列 多个列存在于一个列族里面 多列族多列Value 值 一列一个值rowkey timestamp family qualifier 确定一个唯一的值 public static byte原创 2022-05-22 20:03:54 · 557 阅读 · 0 评论 -
hive on hbase 建表语句示例
create external table shop_cart(key String,name String,value String)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:nam...原创 2019-10-16 22:01:04 · 547 阅读 · 0 评论 -
java连接kerberos验证的hbase
kerberos是一种权限验证框架import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hado...原创 2019-10-16 21:32:22 · 473 阅读 · 0 评论 -
hbase 过滤器
https://blog.csdn.net/cnweike/article/details/42920547https://blog.csdn.net/m0_37739193/article/details/73615016SingleColumnValueFilter:用一列的值决定这一行的数据是否被过滤。在它的具体对象上,可以调用setFilterIfMissing(tru...原创 2019-08-31 14:11:46 · 86 阅读 · 0 评论 -
hbase rowkey 排序
HBase里面同一列的元素按照rowkey进行排序,排序规则是rowkey的ASCII码排序,小的在前大的在后。举例说明:rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp(单位:秒)(System.currentTimeMillis()/1000得到),由此来看rowkey的排序。其中箭头表示HBase扫描内容时的扫描方向。假设start...原创 2019-08-12 22:23:02 · 888 阅读 · 0 评论 -
kafka sparkStreaming hbase mysql 整合案例
通过flume向kafka的topic发送数据,sparkstreaming去消费topic中的数据清洗处理,最后存储到hbase中flume sink.conf待续通过命令行提前创建一个topicbin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --parti...原创 2019-05-26 23:19:22 · 827 阅读 · 1 评论 -
hbase安装使用
修改conf将core-site.xml hdfs-site.xml cp 到conf中regionserver 添加字节点ip或域名hbase-env.sh export JAVA_HOME=/opt/jdk1.8.0_171export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HBASE_MAN...原创 2018-05-22 18:38:12 · 227 阅读 · 0 评论