Hbase
文章平均质量分 93
jin6872115
这个作者很懒,什么都没留下…
展开
-
HBase最佳实践-读性能优化策略
数据本地率:HDFS数据通常存储三份,假如当前RegionA处于Node1上,数据a写入的时候三副本为(Node1,Node2,Node3),数据b写入三副本是(Node1,Node4,Node5),数据c写入三副本(Node1,Node3,Node5),可以看出来所有数据写入本地Node1肯定会写一份,数据都在本地可以读到,因此数据本地率是100%。从HDFS的角度望上层看,HBase即是它的客户端,HBase通过调用它的客户端进行数据读写操作,因此HDFS的相关优化也会影响HBase的读写性能。...转载 2022-08-17 15:11:17 · 315 阅读 · 0 评论 -
什么是HBase?终于有人讲明白了
在 HBase 表中,一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column),一列或多列组成一个列族(Column Family),同一个列族中列的数据在物理上都存储在同一个 HFile 中,这样基于列存储的数据结构有利于数据缓存和查询。HBase Client 为用户提供了访问 HBase 的接口,可以通过元数据表来定位到目标数据的 RegionServer,另外 HBase Client 还维护了对应的 cache 来加速 Hbase 的访问,比如缓存元数据的信息。...转载 2022-08-17 14:44:04 · 793 阅读 · 0 评论 -
10大HBase常见运维工具整理
HBase作为当前比较热门和广泛使用的NoSQL数据库,由于本身设计架构和流程上比较复杂,对大数据经验较少的运维人员门槛较高,本文对当前HBase上已有的工具做一些介绍以及总结。1) 由于HBase不同版本间的差异性较大(如HBase2.x上移走了hbck工具),本文使用的所有命令行运行的环境为MRS_1.9.3,对应的HBase版本为1.3.1,部分命令在HBase2上不支持(有时间的话会对HBase2做单独的介绍)。2) 本文所涉及的HBase工具均为开源自带工具,不涉及厂商自研的优化和运维工具。...转载 2022-08-17 13:26:34 · 1567 阅读 · 0 评论 -
CHD的impala实现hive和hbase数据查询
cdh版本安装spark-sql比较复杂,cdh主推impala,可以方便进行查询启动命令:impala-shell可以直接进行hive操作。impala查询hbase,需要进行映射CREATE EXTERNAL TABLE tiger.test_info(--指定库名和表名 user_id string, --字段 user_type tinyint,...原创 2019-03-01 10:54:14 · 774 阅读 · 0 评论 -
删除Hbase指定列数据
Hbase没有删除某列数据的直接命令,通过指定表名,列簇,列名package com.cslc.asiancup.dfstohbase;import com.cslc.asiancup.utils.HbaseUtil;import com.cslc.asiancup.utils.HbaseUtilJava;import org.apache.hadoop.conf.Configura...原创 2019-01-08 20:56:53 · 5910 阅读 · 1 评论 -
批量插入Hbase数据
批量往Hbase插入数据,需要知道表名,列名,列簇等字段即可。指定Hbase链接 package com.cslc.asiancup.dfstohbase;import com.cslc.asiancup.utils.HbaseUtilJava;import org.apache.hadoop.conf.Configuration;import org.apache.had...原创 2019-01-08 20:49:10 · 2862 阅读 · 0 评论 -
Goldengate抽取ORACLE 数据 到 Hbase
1、 软件版本说明:Goldengate 12c 12.2.0.1 forOracle (源端 )Goldengate 12c 12.2.0.1 for Bigdata ( 目标端)Oracle 11g 11.2.0.4.0 (注oracle 数据库必须是11.2.0.4之后的版本,之前的oracle 数据库版本不支持ogg 12c )HBase 1.1.2...转载 2018-08-20 15:43:20 · 622 阅读 · 0 评论 -
Hbase分页过滤器
对于过滤加分页常规的filterlist使用多个过滤器会导致有些过滤器不起作用解决方法:1、获取需要分页的所有rowkey数目,存储在list中,通过pageindex和pagesize计算出起始rowkey2、借鉴文章中的分页方法,使用起始rowkey的方法,设置pagesize,获取当前页码信息数据分页处理系列之二:HBase表数据分页处理缺点:当rowkey数目少量时...原创 2018-07-27 09:04:44 · 692 阅读 · 0 评论 -
HBase之过滤器
filter ==> SQL 中的Wherefilter的执行流程:过滤器在客户端创建,然后通过RPC发送到服务器上,由服务器执行 基础过滤器: 比较器: Comparator Description LongComparator Assumes the given value...原创 2018-07-19 19:34:33 · 238 阅读 · 0 评论 -
HBase filter shell操作
来自 创建表 create 'test1', 'lf', 'sf' lf: column family of LONG values (binary value) -- sf: column family of STRING values 导入数据 put 'test1', 'user1|ts1', 'sf:c1', 'sku1' put 'test1', 'user1|ts2', 'sf...转载 2018-07-17 16:12:10 · 151 阅读 · 0 评论 -
hbase shell Filter
数据: hbase(main):046:0> scan 'hbaseFilter' ROW COLUMN+CELL row0 column=f:age, timestamp=1499150787863, value=age0 row0 column=f:name, timestamp=1499150787863, value=name0...原创 2018-07-17 15:08:58 · 327 阅读 · 0 评论 -
Spark与HBase的整合
前言之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在了用户行为存储上,因为Rowkey的过滤功能也很不错,可以很方便的把按人或者内容的维度过滤出所有的行为。从某种意义上,HBase的是一个有且仅有一个多字段复合索引的存储引擎。虽然我比较推崇实时计算,不过补数据...转载 2018-06-25 19:22:34 · 3554 阅读 · 0 评论 -
Hive整合HBase 通过Hive读/写HBase中的表
写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。 写在前面二:使用软件说明约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0...转载 2018-06-25 19:19:19 · 486 阅读 · 0 评论 -
tt
hadoop jar original-cn_wh_spark-1.0-SNAPSHOT.jar HBase -libjars /home/hadoop/apps/hbase-1.2.6/lib/*.jar原创 2018-06-13 22:30:35 · 219 阅读 · 0 评论 -
Hbase导入数据
1、先把log.txt上传至hdsf。2、在hbase中定义好表sys_log。3、export HADOOP_CLASSPATH=/home/takchi/Bigdata/hbase-1.2.4/lib/*:$HADOOP_CLASSPATH4、bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='H...原创 2018-04-30 15:18:38 · 569 阅读 · 0 评论 -
Hbase进行分页显示
使用API对Hbase的存储的数据进行分页显示:思路:使用pagefilter和rowfilter(比较器使用GREATER),前者控制每页显示数目,后者控制当前页的起始元素。分类:1、当输入页数小于等于1时,直接显示第一页,2、当输入页数为2时,求出第一页的最后一个行键,作为比较值,3、当输入页数大于等于3时,递归调用方法,求出前一页的最后一个行键即可实现代码:package lpj.hbase...原创 2018-03-31 22:40:51 · 1171 阅读 · 2 评论