Hbase
Hbase的使用记载
微电子学与固体电子学-俞驰
如切如磋,如琢如磨,臻于至善。
展开
-
hbase启动后在log中出现cannot get log writer
解决方案:<property><name>hbase.wal.provider</name><value>filesystem</value></property>Reference:[1]故障排除和调试HBase:RegionServer转载 2020-12-27 15:21:53 · 658 阅读 · 0 评论 -
org.apache.hadoop.hbase.NotServingRegionException: hbase:meta,,1 is not online问题(暂时没有解决)
在试图使用 sqoop从mysql导数据到hbase的过程中,发生下面报错:2020-06-30 11:53:38,636 ERROR [main] tool.ImportTool (ImportTool.java:run(634)) - Import failed: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Tue Jun 30 11:53:38 CS原创 2020-06-30 11:57:13 · 5516 阅读 · 0 评论 -
hbase的HA模式配置和维护
根据这个梳理一遍https://www.jianshu.com/p/b2dcf763a482原创 2020-06-15 08:30:32 · 614 阅读 · 0 评论 -
hbase命令行在create table时为啥有MIN_VERSIONS而没有MAX_VERSIONS
hbase shell在create table的时候,我们看到有VERSIONS和MIN_VERSIONS为啥没有MAX_VERSIONS呢?这是因为:hbase.column.max.version是在hbase-site.xml中设置的。原创 2020-05-31 17:53:07 · 842 阅读 · 0 评论 -
Hbase的shell出现wrong number of arguments xxx以及undefined method any?for xxxx
我们大概碰到过下面这种情况ERROR: wrong number of arguments (10 for 6)For usage try 'help "put"'Took 0.0015 seconds ...原创 2020-05-31 17:34:36 · 3543 阅读 · 0 评论 -
python基于happybase对hbase增删改查-thrift1
准备工作:$ apt-get install libsasl2-dev# pip install thrift# pip install thrift-sasl# pip install happybase# pip install hbase-python# pip install kazoo###############################下面是具体操作################################################python连接的原创 2020-05-30 23:56:16 · 906 阅读 · 0 评论 -
hbase的shell客户端中不同符号的含义
意义 hbase(main):021:0* 表示还没输入完整的操作命令 hbase(main):021:0' hbase(main):021:0" 表示操作命令中的单引号或者双引号没有成对 hbase(main):021:0> 表示刚刚执行完命令,还没有输入下一句操作命令 ...原创 2020-05-31 16:25:26 · 780 阅读 · 2 评论 -
python使用happybase报错Hbase_thrift.IOError:IOError(message=borg.apache.hadoop.hbase.NamespaceNotFound
>>> import happybase>>> connection = happybase.Connection(host="Desktop", port=9090)>>> connection.open()>>> families = {"base":dict(),"address":dict()}>>> connection.create_table('databasename:tablename',f原创 2020-05-30 22:20:13 · 3060 阅读 · 0 评论 -
大数据组件的各种协议与作用(持续更新中)
协议 作用 spark:// spark的standalone模式 hdfs:// 分布式文件集群 hiveserver2 beeline连接的前提 thrift/thrift2 python连接hbase的前提原创 2020-05-31 13:03:56 · 276 阅读 · 0 评论 -
python操作hbase配置记录-基于thrift2协议
#--------------------------------------下面是基本知识---------------------------------------------------------------------------连接hbase的python开源包:开源包名称 happybase 维护最好的是第一个,但是基本上你去github上提交issue,官方就会甩锅说这个不是我们这边的问题,是你们这边的问题之类。 hbase-python github上.原创 2020-05-31 12:57:47 · 816 阅读 · 0 评论 -
hbase映射为hive表(转载+整理+自己验证)
本文是对[1][2]的整理以及在新版本上的验证-----------------------------------------------------------------------------------------环境版本大数据组件 版本 Hadoop 3.1.2 Zookeeper 3.6.0 Hbase 2.2.4 Hive 3.0.0 ---------------------------------------------.原创 2020-05-30 16:33:13 · 1023 阅读 · 0 评论 -
SyntaxError: (hbase):100: syntax error, unexpected tIDENTIFIER
hbase(main):100:0* put'member','zhangsan','address:contry','china'SyntaxError: (hbase):100: syntax error, unexpected tIDENTIFIERput'member','zhangsan','address:contry','china'正确的如下:hbase(main):101:0> put'member','zhangsan','address:contry','ch...原创 2020-05-30 14:39:41 · 8812 阅读 · 1 评论 -
数据仓库在HDFS上存储数据的路径(持续更新中)
组件名称 WEB UI路径 HDFS 路径 Hive内表t1 http://desktop:9870/explorer.html#/user/hive/warehouse/t1 hdfs://Desktop:9000/user/hive/warehouse/t1 Hive外表t2 http://desktop:9870/explorer.html#/user/t2 hdfs://Desktop:9000/user/t2 Hbase http://d...原创 2020-05-29 22:53:35 · 902 阅读 · 0 评论 -
Table中Family和Qualifier的关系与区别(转载)
Table中Family和Qualifier的关系与区别就像用MySQL一样,我们要做的是表设计,MySQL中的表,行,列的在HBase已经有所区别了,在HBase中主要是Table和Family和Qualifier,这三个概念。Table可以直接理解为表,而Family和Qualifier其实都可以理解为列,一个Family下面可以有多个Qualifier,所以可以简单的理解为,HBase中的列是二级列,也就是说Family是第一级列,Qualifier是第二级列。两个是父子关系。谈谈转载 2020-05-29 14:13:33 · 692 阅读 · 0 评论 -
HBase表创建、删除、清空
HBase shell窗口进入执行命令hbase shellHBase表的创建# 语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}# 例如:创建表t1,有两个family name(列簇名字):f1,f2,且版本数前者为3,后者为1hbase(main)> create 't1',{NAME => 'f1', VERSIONS => 3},{NAME =转载 2020-05-28 22:16:07 · 1135 阅读 · 1 评论 -
sqoop把mysql数据导入hbase-完整记录
环境:sqoop1.4.7mysql8.0hbase2.2.4hadoop3.1.2##############################################################################mysql> create database sqoop_hbase;mysql> use sqoop_hbase;mysql> CREATE TABLE book( -> id INT(4) PRIMAR...原创 2020-05-25 23:36:27 · 2072 阅读 · 10 评论 -
NoClassDefFoundError: com/google/protobuf/RpcCallback
hbase启动的时候报错:Desktop: Error: A JNI error has occurred, please check your installation and try againDesktop: Exception in thread "main" java.lang.NoClassDefFoundError: com/google/protobuf/RpcCallbackDesktop: at java.lang.Class.getDeclaredMethods0(Na...原创 2020-05-27 17:48:02 · 799 阅读 · 0 评论 -
ETL的数据同步工具调研(持续更新中)
扯白了,数据同步工具就是"导数据 "的名称 社区响应 SQOOP 更新缓慢,对于hbase2.x以上版本使用时需要老版本的jar包 OTTA github的issue已经很少回应,repository本身很少更新 DataPipeline DataX 没有官方web UI talend informatica 商用 Datastage 商用 Oracle Goldengate kettle ...原创 2020-05-26 16:46:59 · 480 阅读 · 0 评论 -
zeppelin报错master is set as yarn, but spark.submit.deployMode is not specified
具体报错如下:java.lang.RuntimeException: master is set as yarn, but spark.submit.deployMode is not specified at org.apache.zeppelin.interpreter.launcher.SparkInterpreterLauncher.getDeployMode(SparkInterpreterLauncher.java:345) at org.apache.zeppelin.interpr原创 2020-05-25 22:25:21 · 630 阅读 · 0 评论 -
kylin在启动后web ui无法打开
环境:hadoop-3.1.2apache-kylin-3.0.2-bin-hadoop3准备工作:$HBASE_HOME/bin/hbase中CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar改成:CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*#----------------------------------------------------原创 2020-05-24 17:21:51 · 4493 阅读 · 8 评论 -
Kylin启动报错hbase-common lib not found
$HBASE_HOME/bin/hbase修改如下:CLASSPATH="${HBASE_CONF_DIR}"改为:CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*转载 2020-05-24 15:49:06 · 1111 阅读 · 0 评论 -
Failed to find metadata store by url: kylin_metadata@hbase 解决办法
原因之一是没有启动hbase集群,启动hbase集群就好了。原创 2020-05-24 11:27:44 · 1397 阅读 · 0 评论 -
大数据发行版本+组件中的竞品/等同地位关系(持续更新中)
一些大数据组件在一定程度上是可以互相取代的,这里进行一些整理。常见大数据组件 竞品 用途 HDFS FastDFS(已经淘汰) 分布式文件系统 MapReduce Spark 集群计算 Hive Cloudera Impala/Apache Kylin 静态分析(OLAP) Flink Streaming/Storm 实时计算 注:上面加粗字体表示在正常中更为常用或在开发上更加快速...原创 2020-05-22 20:41:12 · 751 阅读 · 0 评论 -
为什么是hbase而不是mongodb
[1]场景2:批量记录导入[2]原因就在于写入的速度,hbase由于只维护一个主键,写入的速度要比mongodb这种要维护所有索引的数据库快多了。hbase占用两台机器能完成的事情,mongodb要占用更多的机器,每台机器按一年20000的费用,几百台下来就是一笔很大的费用。但是代价就是hbase记录下东西以后,只能事后通过全表检索或按照索引范围的方式进行整体分析,而不能对具体每个人的数据进行实时分析,Hbase更强调数据分析能力而不是实时数据查询能力,因此各有千秋吧。像用户行为分析的这...原创 2020-05-21 10:37:33 · 518 阅读 · 0 评论 -
Unable to read additional data from client sessionid
hbase-appleyuchi-zookeeper-Desktop.logEndOfStreamException: Unable to read additional data from client sessionid 0x17232039ab80004, likely client has closed socket at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:239) at or...原创 2020-05-20 21:01:36 · 2950 阅读 · 0 评论 -
myid文件到底是否需要自己手动配置
使用zookeeper的方式 myid文件 hbase自带zookeeper 不需要自己添加,会自动生成 hbase使用独立的zookeeper 需要自己添加,不会自动生成 当hbase使用独立的zookeeper的时候,如果不手动设置myid文件,那么$HBASE_HOME/logs/zookeeper-appleyuchi-server-Desktop.out会报错。...原创 2020-05-20 20:45:02 · 1735 阅读 · 0 评论 -
hbase官方网站声称的兼容是否是100%兼容?
根据[1]中的兼容矩阵,如下:我们采用hadoop3.1.2hbase2.2.4进行测试$HBASE_HOME/logs/hbase-appleyuchi-master-Desktop.log报错:desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it. at org.apac...原创 2020-05-20 20:21:31 · 469 阅读 · 0 评论 -
No report created. Execute hbck_chore_run in hbase shell to generate a new sub-report.
hbase的web ui打开后有这些问题,吓了一跳以为是报错解决方案:终端输入hbase shell如下:hbase(main):001:0> hbck_chore_runTook 0.4220 seconds => truehbase(main):002:0> catalogjanitor_runTook 0.0753 seconds ...原创 2020-05-20 19:06:24 · 410 阅读 · 0 评论 -
hbase碰到ERROR: Invalid HADOOP_COMMON_HOME
hbase shellERROR: Invalid HADOOP_COMMON_HOME2020-05-20 18:53:54,656 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase ShellUse "help" to get list of supported .转载 2020-05-20 19:03:12 · 3847 阅读 · 0 评论 -
org.apache.hadoop.hbase.PleaseHoldException: Master is initializing(解決方案汇总+自己摸索)
$ZOOKEEPER/bin/zkCli.sh -server master:2181delete /hbase/meta-region-server原创 2020-05-20 18:39:18 · 7550 阅读 · 0 评论 -
The procedure WAL relies on the ability to hsync for proper operation during component failures
[1]的解決方案是:更換hadoop版本,讓hadoop與hbase更加兼容[2]的解決方案是:hbase-site.xml增加配置 <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value></property>Reference:[1]HBASE中Hmaster启动后自动挂掉的问题[.原创 2020-05-20 18:29:50 · 869 阅读 · 0 评论 -
NoNode for /hbase/hbaseid解决方案
环境hbase2.2.4(使用自带的zookeeper,伪分布式)hadoop3.1.2打开web界面master:16010CodedInputStream encountered an embedded string or message which claimed to have negative size.logs文件夹下面的文件中没有报错hbase hbck报错如下:2020-05-20 17:06:39,176 WARN [main] client.ConnectionIm.原创 2020-05-20 17:17:21 · 7132 阅读 · 2 评论 -
QuorumPeerMain数量可否和HRegionServer节点数量不一致?
Hbase节点和Zookeeper节点数量是否一致 备注 Hbase自带的zookeeper 一致 使用的一般是start-hbase.sh 独立zookeeper 可以不一致原创 2020-05-19 20:30:02 · 330 阅读 · 0 评论 -
/hbase/WALs/desktop,xxxxxxxx-splitting is non empty: Directory is not empty
用的是hbase自带的zookeeper$HBASE_HOME/logs/hbase-appleyuchi-master-Desktop.logorg.apache.hadoop.fs.PathIsNotEmptyDirectoryException: ``/hbase/WALs/desktop,16020,1589880468742-splitting is non empty': Directory is not empty at org.apache.hadoop.hdfs.s...转载 2020-05-19 19:08:57 · 2279 阅读 · 0 评论 -
hbase shell显示时间与系统时间不同
Version 2.2.4, rUnknown, 2020年 05月 16日 星期六 15:13:08 CSTTook 0.0034 seconds hbase(main):001:0> create...原创 2020-05-19 18:06:30 · 689 阅读 · 0 评论 -
hbase启动的时候报错java.lang.ClassNotFoundException: org.slf4j.LoggerFactory
启动hbase的时候报错:master running as process 15806. Stop it first.Desktop: regionserver running as process 16036. Stop it first.Laptop: running regionserver, logging to /home/appleyuchi/bigdata/hbase-2.2.4/bin/../logs/hbase-appleyuchi-regionserver-Laptop.ou原创 2020-05-19 00:01:27 · 3505 阅读 · 0 评论 -
hbase shell出现Server is not running yet
hbase(main):005:0* statusERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet at org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2807) at org.apache.hadoop.hbase.master.MasterRpcServic...原创 2020-05-17 20:06:26 · 2226 阅读 · 3 评论 -
NIFI使用过程中的invalid component问题解决
NIFI网上的资料不多,那么碰到invalid component的时候如何解决呢?把鼠标移动到模块中的小三角上,就会出来提示信息。注意,如果仅仅把鼠标移动到模块中,没有移动到模块的小三角上,那么上图中详细的报错信息是不会显示出来的。...原创 2020-05-17 15:04:34 · 1310 阅读 · 0 评论 -
Hbase中的Column Family(转载)
1. 概述HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后,犹如醍醐灌顶,进而“山寨”出来的一套系统。由此可见: 1. 几乎所有的HBase中的理念,都可以从BigTable论文中得到解释。原文是英语的,而且还有不少数学概念,看了有点儿懵,建议网上找找学习笔记看看,差不多也就可以入门了。 2. Google确实牛X。 3. 老外也爱山寨~第一次看HBase, 可能看到以下描述会懵:“基于列存储”,“稀疏MAP”,“RowKey”,“Colu.转载 2020-05-17 14:48:58 · 829 阅读 · 0 评论 -
CodedInputStream encountered an embedded string or message which claimed to have negative size.
完整报错如下: Server ErrorCaused by:java.lang.IllegalArgumentException: org.apache.hbase.thirdparty.com.google.protobuf.InvalidProtocolBufferException: CodedInputStream encountered an embedded string or message which claimed to have negative size. at org.转载 2020-05-17 11:37:01 · 1825 阅读 · 1 评论