HBase
不爱研究的研究僧
这个作者很懒,什么都没留下…
展开
-
HBase与MapReduce交互
目录1.版本2.官方案例3.自定义案例14.自定义案例21.版本HBase:1.3.1Hadoop:3.1.32.官方案例1.查看 HBase 的 MapReduce 任务的执行需要的jar包2. 环境变量导入永久生效的方式:在 hadoop-env.sh 中配置,直接在最后一行加入exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*3.运行官方...原创 2022-03-02 18:37:02 · 2017 阅读 · 0 评论 -
HBase API
目录1.DDL1.1判断表是否存在1.2创建表1.3删除表1.4创建命名空间2.DML2.1向表插入数据2.2获取数据(get)2.3获取数据(scan)2.4删除数据3.完整代码1.DDL1.1判断表是否存在 //1.判断表是否存在 public static boolean isTableExist(String tableName) throws IOException {// //1.获取配置文件信息/原创 2022-02-27 21:09:43 · 1393 阅读 · 0 评论 -
HBase 触发数据删除的方式
1.flush同一个内存中flush操作将过时数据删除;但是对于磁盘上跨文件的过时数据不能删除,磁盘上有文件时,对当前内存进行flush操作,不会读磁盘上的文件,就不会删除磁盘上的过时数据。2.compact(Major Compaction)Compaction 分为两种,分别是 Minor Compaction 和 Major Compaction。Minor Compaction会将临近的若干个较小的 HFile 合并成一个较大的 HFile,但不会清理过期和删除的数据。Major C原创 2022-02-26 16:00:45 · 767 阅读 · 0 评论 -
HBase 读流程
1)Client先访问 zookeeper,获取 hbase:meta 表位于哪个RegionServer。2)访问对应的 RegionServer,获取 hbase:meta表,根据读请求namespace:table/rowkey,查询出目标数据位于哪个 RegionServer中的哪个 Region中。并将该 table的 region信息以及 meta表的位置信息缓存在客户端的 meta cache,方便下次访问。3)与目标RegionServer进行通讯;4...原创 2022-02-26 11:48:53 · 116 阅读 · 0 评论 -
HBase 基本架构&列族与store关系
1.架构角色1)RegionServerRegionServer为 Region的管理者,其实现类为 HRegionServer,主要作用如下:对于数据的操作:get,put, delete;对于 Region的操作:splitRegion、compactRegion。2)MasterMaster是所有 RegionServer的管理者,其实现类为 HMaster,主要作用如下:对于表的操作:create,delete,alter;对于RegionServer...原创 2022-02-26 10:14:09 · 4039 阅读 · 0 评论