Hbase
hbase
Knight_AL
这个作者很懒,什么都没留下…
展开
-
HRegionServer起来一会儿就挂掉了
在时间同步没问题的情况下,HMaster存在,但所有节点的Hregionserver启动后不久自动挂掉,原因是之前启动hbase失败,导致hdfs中保留了之前失败的元数据,此时将hdfs上hbsae文件夹删除hadoop fs -rm -r /hbase...原创 2021-12-26 20:42:51 · 1188 阅读 · 0 评论 -
Hbase-2.0.5安装
Zookeeper和Hadoop都要启动!HBase的解压解压HBase到指定目录:tar -zxvf hbase-2.3.4-bin.tar.gz -C /export/serversHBase的配置文件修改HBase对应的配置文件。1)hbase-env.sh修改内容:export JAVA_HOME=/export/servers/jdkexport HBASE_MANAGES_ZK=false2)hbase-site.xml修改内容:<configuration>原创 2021-02-22 18:50:16 · 749 阅读 · 0 评论 -
Hbase与Hadoop版本对应
官网http://hbase.apache.org/book.html#basic.prerequisites原创 2021-02-21 20:07:38 · 1475 阅读 · 0 评论 -
FATAL [hadoop102:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.
FATAL [hadoop102:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded. You have version null and I want version 8. Consult http://原创 2021-02-07 19:56:41 · 1403 阅读 · 0 评论 -
如何在官网下载hbase
如果你不想看下面的步骤,可以直接进这个网址https://downloads.apache.org/这里应有尽有(hadoop zookeeper…)想要的版本都有原创 2020-10-26 22:21:40 · 1842 阅读 · 0 评论 -
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2452) at org.apache.hadoop.hbase.master.HMaster.checkNamespaceManagerReady(HMaster.java:2457) at org.apach原创 2020-10-22 20:06:39 · 516 阅读 · 0 评论 -
Hbase高级-数据真正删除
创建表create 'stu9','info' 插入数据put 'stu9','1001','info:name','haiwang'put 'stu9','1001','info:name','wuwukai'put 'stu9','1001','info:name','white' 刷写flush 'stu9'结果(刷写,rowkey相同,显示最新时间戳) 插入数据+刷写put 'stu9','1002','info:name','labi'flush '..原创 2020-10-20 13:21:28 · 783 阅读 · 1 评论 -
HBase-时间戳用来标识版本
VERSIONS版本是什么意思?VERSIONS相当于时间戳 实例插入数据put 'stu10','1003','info:name','xiaoxin'put 'stu10','1003','info:name','xiaoxin1'put 'stu10','1003','info:name','xiaoxin2'put 'stu10','1003','info:name','xiaoxin3'put 'stu10','1003','info:name','xiaoxin4'put原创 2020-10-19 21:45:40 · 1476 阅读 · 1 评论 -
HBase-每次flush的VESION个数的限制
创建表create 'stu10','info' 插入数据put 'stu10','1003','info:name','xiaoxin'put 'stu10','1003','info:name','xiaoxin1'put 'stu10','1003','info:name','xiaoxin2'put 'stu10','1003','info:name','xiaoxin3'put 'stu10','1003','info:name','xiaoxin4'put 'stu1..原创 2020-10-19 18:16:55 · 167 阅读 · 1 评论 -
布隆过滤器原理+hbase应用场景(一看就明白)
目录布隆过滤器HBase中如何设置布隆过滤器布隆是个人,发明了布隆算法,基于布隆算法实现的组件,称为布隆过滤器!这个组件一般是用作过滤! 过滤功能: 在海量数据中,用非常高的效率和性能,判断一个数据是否在集合中存在! 作用: 布隆过滤器只能判断一个数据要么一定在集合中不存在,要么在集合中可能存在!误判: 布隆过滤器判断数据可能存在,实际扫描后,发现不存在,这种情况有存在的几率!布隆过滤器是可以提升读的性能!存在误判率!那么我就画一个图来解释一下说明R3在集合中一定不存在说明R4可能存原创 2020-08-12 22:58:11 · 1081 阅读 · 0 评论 -
HBase优化
目录高可用预分区RowKey设计内存优化基础优化总结(hbase的优化)高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。1.关闭HBase集群(如果没有开启则跳过此步) bin/stop-HBase.sh2.在conf目录下创建backup-masters文件touch conf/原创 2020-08-12 22:34:20 · 260 阅读 · 0 评论 -
HBase-MapReduce
目录官方HBase-MapReduce自定义HBase-MapReduce1自定义HBase-MapReduce2idea上运行(不用打包)官方HBase-MapReduce1.查看HBase的MapReduce任务的执行bin/HBase mapredcp2.环境变量的导入让Hadoop加载Hbase的jar包,最简单的就是把HBase的jar包复制到Hadoop的lib里面,或者把HBase的包地址写到Hadoop的环境变量里面。(1)执行环境变量的导入(临时生效,在命令行执行下述操作)原创 2020-08-11 23:36:14 · 484 阅读 · 0 评论 -
Hbase高级
目录RegionServer 架构写流程总结读流程MemStore FlushStoreFile CompactionRegion SplitRegionServer 架构1)StoreFile保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。2)MemStore写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时原创 2020-08-11 21:53:08 · 336 阅读 · 0 评论 -
解决HBase的退格键ctrl+backspace键使用——xshell(终于可以不使用ctrl+backspace键!!!)
不用再按ctrl+back space了!!!!!!!!!!!!原创 2020-08-09 22:44:16 · 1113 阅读 · 1 评论 -
HBase简介
目录Hbase的来源HBase定义Hbase的特点HBase的特点Hbase的优点Hbase的缺点Hbase的总结HBase数据模型HBase逻辑结构HBase物理存储结构数据模型总结笔记Hbase的来源2006年Google技术人员Fay Chang发布了一篇文章Bigtable: ADistributed Storage System for Structured Data。该文章向世人介绍了一种分布式的数据库,这种数据库可以在局部几台服务器崩溃的情况下继续提供高性能的服务。2007年Powers原创 2020-08-09 21:56:40 · 520 阅读 · 0 评论 -
HBase-1.3.1安装
Zookeeper和Hadoop都要启动!HBase的解压解压HBase到指定目录:tar -zxvf hbase-1.3.1-bin.tar.gz -C /export/serversHBase的配置文件修改HBase对应的配置文件。1)hbase-env.sh修改内容:export JAVA_HOME=/export/servers/jdkexport HBASE_MANAGES_ZK=false2)hbase-site.xml修改内容:<configuration>原创 2020-08-03 21:08:40 · 391 阅读 · 0 评论 -
HBase与Hive集成使用
HBase与Hive的集成在最新的两个版本中无法兼容。所以,我们只能含着泪勇敢的重新编译:hive-hbase-handler-1.2.2.jar!!环境准备因为我们后续可能会在操作Hive的同时对HBase也会产生影响,所以Hive需要持有操作HBase的Jar,那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式)。export HBASE_HOME=/export/servers/hbase-1.3.1export HIVE_HOME=/export/servers/hiveln原创 2020-06-14 17:12:33 · 260 阅读 · 0 评论 -
apache-hive-1.2.1-src.zip打包源码
源码包链接:https://pan.baidu.com/s/1Fjw0aoBJAS_q4Vgv5znj_Q提取码:a0e5下载之后解压源码打包我选择eclipse,因为eclipse更方便打开eclipse建立一个java project右键scr 点import选取hbase-handler->scr->java记得打勾,然后点完成完成之后发现报错,不要慌创建一个Folderlib下要放入hive中lib下所有的jar包 注意只是jar包链接:https:/原创 2020-06-14 16:56:04 · 560 阅读 · 0 评论 -
HBase与Hive的对比
1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase(1) 数据库是一种面向列存储的非关系型数据库。(2) 用于存储结构化和非结构化的数据适用于单表非关系型数据的存储,不适合做原创 2020-06-14 16:03:21 · 169 阅读 · 0 评论 -
Hbase Table already exists的处理方法
hadoop重新格式化后,hdfs上没有了数据,在hbase中新建表。但是却出现了新的问题,新建表时,总是提示Table already exists。是因为以前建过同名的表,可是HDFS上和Hbase相关的东西都已经删除了。是zookeeper的原因导致,因为zookeeper保存有hbase表的地址。数据访问是通过zookeeper的地址转到hdfs上。这是hbase物理存储结构所决定的。解决方案:进入HMaster节点,执行,bin/zkCli.shls /hbase/table,查看是否有要新转载 2020-06-12 22:43:03 · 1608 阅读 · 0 评论 -
HBaseAPI-----------DML
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;//ddlpublic class testAPI { private static Connection c原创 2020-06-12 22:38:09 · 124 阅读 · 0 评论 -
Hmaster启动几秒后自动消失的解决方法
进入zk客户端 查看文件 删除hbase :zkCli.shls /deleteall /hbase将hadoop hdfs中的hbase 也删除hdfs dfs -rm -r / hbase重启hbase就成功了原创 2020-05-18 22:55:34 · 1812 阅读 · 2 评论 -
HBaseAPI-----------DDL
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.Admin;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.h...原创 2020-05-06 23:13:07 · 162 阅读 · 1 评论