Hbase
Keep hunger
把月份过成了日子,把恬淡揉散在心间
展开
-
Hbase--API删除数据详解
Hbase–API删除数据详解文章目录Hbase--API删除数据详解一:代码实现如下:二:分析和实践1)删除指定的rowkey下的所有数据2)删除指定删除指定的列族3)删除指定的列1.addColumn()2.addColumns()3.测试一:代码实现如下: public class TestHbaseConnect { private static Configuration co...原创 2019-10-23 00:00:07 · 2947 阅读 · 2 评论 -
Hbase--协处理器coprocessors
Hbase–协处理器coprocessors文章目录Hbase--协处理器coprocessors一:协处理器1.什么是协处理器?2.协处理器的类型3.Observer1)类型2) 适用场景3)执行流程4.Endpoint1)介绍2)应用场景以及分析5.总结二:协处理器的实践应用1.Endpoint的应用准备工作:具体步骤:第一步:使用Protobuf生成序列化类2.Observer 的应用创建...原创 2019-11-01 17:13:51 · 251 阅读 · 0 评论 -
Hbase--表的设计原则以及数据热点问题
Hbase–表的设计原则以及数据热点问题文章目录Hbase--表的设计原则以及数据热点问题一、列簇设计二、RowKey 设计Rowkey 设计三原则一、rowkey 长度原则二、rowkey 散列原则三、rowkey 唯一原则三:数据热点防止数据热点的有效措施:加盐哈希反转时间戳反转一、列簇设计追求的原则是:在合理范围内能尽量少的减少列簇就尽量减少列簇;原则上是列族的个数大于一个,小于三个。...原创 2019-10-31 22:04:04 · 206 阅读 · 0 评论 -
Hbase--高级shell的使用
Hbase–高级shell的使用文章目录Hbase--高级shell的使用1、 BLOOMFILTER2、 VERSIONS3、 COMPRESSION4、 TTL5、 alter6、 describe/desc7、 disable_all/enable_all/drop_all (禁用/启用/删除所有)8、 hbase 预分区命令方式API方式UI上查看结果1、 BLOOMFILTER是否...原创 2019-10-31 21:30:02 · 228 阅读 · 0 评论 -
HBase--内存结构之跳表数据结构浅析
参考原文:https://blog.csdn.net/mango_song/article/details/42490567HRegion在sotre管理上用到了跳表数据结构ConcurrentSkipListMap:ConcurrentSkipListMap有几个ConcurrentHashMap不能比拟优点:ConcurrentSkipListMap的key是有序的。Concurre...原创 2019-10-31 19:39:14 · 704 阅读 · 0 评论 -
Hbase–系统架构以及物理存储
Hbase–系统架构以及物理存储文章目录Hbase--系统架构以及物理存储系统架构架构图:一:Client二:Zookeeper三:Master四:RegionServer五:region注意:物理存储物理存储模型图:一:基本概念二:memStore和StoreFile三:Storefile和HFile四:WAL:hlog系统架构Hbase是主从架构,Hmaster是主,Hregionser...原创 2019-10-31 15:52:46 · 280 阅读 · 0 评论 -
Hbase和Hive的整合
Hbase和Hive的整合文章目录Hbase和Hive的整合一:为什么Hive要和Hbase整合,意义何在?二:整合原理三:整合步骤1)添加hbase连接的zk路径2)设置hbase在zk中的访问路径3)添加一个jar包到hive的classpath路径下四:检验是否成功1.在hbase中创建表插入数据2.在hive中创建表解析hbase中的数据3.解释一:为什么Hive要和Hbase整合,意...原创 2019-10-31 11:35:54 · 198 阅读 · 0 评论 -
Hbase--海量数据导入Hbase和Hbase数据导入Hdfs
Hbase–海量数据导入Hbase和Hbase数据导入Hdfs文章目录Hbase--海量数据导入Hbase和Hbase数据导入Hdfs一:海量数据导入Hbase1.代码实现2.遇到的错误以及注意要点二:数据从Hbase导入到Hdfs1.代码实现2.遇到的错误以及注意要点一:海量数据导入Hbase1.代码实现package hbasePut;import java.io.IOExcept...原创 2019-10-26 15:03:49 · 1047 阅读 · 0 评论 -
Hbase--练习题一(步骤+踩过的坑)
Hbase–练习题一(步骤+踩过的坑)一:读取本地文件到Hdfs1.代码实现public class FileOutPutBbase { public static void main(String[] args) throws IOException { //获取配置 Configuration conf=HBaseConfiguration.create(); //指定zo...原创 2019-10-26 14:24:28 · 815 阅读 · 0 评论 -
Hbase--Scan全局扫描中的过滤器
Hbase过滤器文章目录Hbase过滤器一·:hbase 过滤器的比较运算符: CompareOp二:HBase 过滤器的比较器(指定比较机制):三:过滤器的分类1.指定扫描2.比较过滤器:2.专用过滤器一·:hbase 过滤器的比较运算符: CompareOpLESS <LESS_OR_EQUAL <=EQUAL =NOT_EQUAL <>GREATER_...原创 2019-10-24 22:36:04 · 595 阅读 · 0 评论 -
Hbase--API操作
Hbase–API操作一:API简介数据库操作:HbaseConfiguration:配置文件连接对象,进行加载配置文件,获取zk的连接HBaseAdmin:ddl的句柄对象,ddl的入口对象表:Htable:表对象,dml的入口对象,对表数据进行操作的HTableDescriptor :表描述器对象HColumnDescriptor :列族描述器对象列修饰符:Put...原创 2019-10-23 00:05:34 · 229 阅读 · 0 评论 -
Hbase--shell的使用
Hbase–shell的使用文章目录Hbase--shell的使用一:Group name: general 通用命令二:Group name: namespace namespace 相关命令1)创建namespace2)查看namespace列表3)查看表的详细信息4) 修改 namespace5)删除namespace四:Group name: ddl 操作1)创建表 ...原创 2019-10-21 23:06:51 · 205 阅读 · 0 评论 -
Hbase--安装步骤
Hbase的安装文章目录Hbase的安装安装准备:安装版本:安装步骤:1)上传2)解压3)配置环境变量4)修改配置文件①vi hbase-env.sh②vi hbase-site.xml③将hadoop的hdfs-site.xml core-site.xml拷贝到hbase的conf下④修改 regionservers 设置主从节点⑤修改 backup-masters5)分发安装文件到各节点...原创 2019-10-21 17:49:19 · 192 阅读 · 0 评论 -
Hbase--基本概念以及设计思想架构
一:hbase的产生背景Hadoop 的限制Hadoop 只能执行批量处理,并且只以顺序方式访问数据。这意味着必须搜索整个数据集, 即使是最简单的搜索工作。当处理结果在另一个庞大的数据集,也是按顺序处理一个巨大的 数据集。在这一点上,一个新的解决方案,需要访问数据中的任何点(随机访问)单元。Hadoop 随机存取数据库应用程序,如 HBase,Cassandra,CouchDB,Dynam...原创 2019-10-21 11:35:39 · 755 阅读 · 1 评论