HBase
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
Java API操作HBase提示:Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=
问题描述:在开发环境IDEA运行相关代码没有问题,但是将程序部署到服务器出现类似以下的报错:Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=原因推测:该类问题应该是由连接HBase超时导致。解决方法:在hosts文件中添加HBase所在服务器的ip映射;...原创 2022-02-25 14:19:11 · 1960 阅读 · 0 评论 -
phoenix报错:Caused by: org.apache.hadoop.hbase.TableExistsException: SYSTEM.MUTEX 异常解决方法
1、异常如下:Setting property: [incremental, false]Setting property: [isolation, TRANSACTION_READ_COMMITTED]issuing: !connect jdbc:phoenix:node01:2181 none none org.apache.phoenix.jdbc.PhoenixDriverConn...原创 2020-04-02 16:10:09 · 5350 阅读 · 1 评论 -
phoenix报错:org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG 异常解决办法
1、异常如下:Setting property: [incremental, false]Setting property: [isolation, TRANSACTION_READ_COMMITTED]issuing: !connect jdbc:phoenix:localhost:2181:/hbase none none org.apache.phoenix.jdbc.Phoenix...原创 2020-04-02 15:55:22 · 5706 阅读 · 0 评论 -
关于HBase的预分区
1、为何要预分区?增加数据读写效率负载均衡,防止数据倾斜方便集群容灾调度region优化Map数量2、如何预分区?每一个region维护着startRowKey与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。3、如何设定预分区?(1)、手动指定预分区hbase(main):003:0> create 't...原创 2019-12-02 15:00:59 · 4158 阅读 · 0 评论 -
关于读取HBASE的乱码问题
hbase提供了一个很好用的字节工具类Bytes,你可以使用该类将所有基本类型转成字节数组,同时可以将字节类型转成对应的基础类型。正常情况下添加数据,在 HBase 中的数据如下:但有时,我们在添加数据时,会出现乱码,比如下图:我们在使用JavaAPI向HBASE中添加数据时应注意:关于中文的乱码问题不用理会关于int、double类型的数据,应先转换成String类型,再做存储...原创 2019-11-18 16:50:18 · 7587 阅读 · 0 评论 -
关于Hadoop(Spark、HBase)集群关闭不了的问题
有时候,我们对运行几天或者几个月的hadoop或者spark集群做停止操作,会发现,停止命令不管用了,为什么呢?因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所...原创 2019-11-04 11:52:31 · 4689 阅读 · 0 评论 -
使用Spark读取已开启Kerberos认证的HBase并注册临时表
1、首先获取相应的krb5.conf与keytab文件2、代码示例:package com.zhbr.hbase.testimport java.io.IOExceptionimport com.google.protobuf.ServiceExceptionimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apa...原创 2020-12-22 12:48:12 · 5566 阅读 · 2 评论 -
使用MapReduce传输HBASE与MySQL数据
使用Mapreduce处理hbase的数据,并将数据存储到MySQL中1、首先先定义一个类,这里面的字段要和你的mysql数据库中的表的字段相对应package com.hbase2mysql;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import org.ap...原创 2019-10-17 14:49:29 · 4142 阅读 · 0 评论 -
Spark On HBase方式读取HBASE数据(HBaseContext方式)
这种方式其实是利用Cloudera-labs开源的一个HbaseContext的工具类来支持spark用RDD的方式批量读写hbase,先给个传送门大家感受下https://github.com/cloudera-labs/SparkOnHBase/blob/cdh5-0.0.2/src/main/scala/com/cloudera/spark/hbase/HBaseContext.scala...原创 2019-10-16 15:50:01 · 6247 阅读 · 0 评论