![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据运维之hbase日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
hbase 2.1 api入库刷新方式
转自:https://www.cnblogs.com/swordfall/p/10527423.html继承RichSinkFunction重写父类方法:package cn.swordfall.hbaseOnFlinkimport org.apache.flink.configuration.Configurationimport org.apache.flink.strea...转载 2019-12-17 10:49:49 · 573 阅读 · 0 评论 -
hbase 查看hfile的内容
1.指令hbase hfile -v -p -m -f hdfs://localhost:9000/hbase/data/default/test/782d9564125bae4e0037e367626186b4/t1/44bd781271ef445ea5056ca632569611转载 2019-12-03 09:46:17 · 592 阅读 · 0 评论 -
大数据组件开启审计日志
hdfs审计 log4j.properties 中配置(缺省就包含)hdfs.audit.logger=INFO,NullAppenderhdfs.audit.log.maxfilesize=256MBhdfs.audit.log.maxbackupindex=20log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesys...转载 2019-11-27 11:28:02 · 1406 阅读 · 0 评论 -
大内存也是否需要关闭
搭建hadoop集群时是否需要关闭大内存页,仅以实时响应来说,是需要的。具体如下问:hbase集群搭建是否需要关闭透明最大页hbase版本号:1.2.0+cdh5.13.0+411操作系统版本centos 7.5.1804HBASE 需要关闭透明最大页吗?答1:要关掉,否则GC时的Object copy耗时明显增加,对吞吐有显著影响。或者在hbase-env.sh添加-XX:+A...转载 2019-11-26 09:46:22 · 323 阅读 · 0 评论 -
HBase体系结构剖析--上
转载来自:https://www.cnblogs.com/tgzhu/p/5857035.html HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的转载 2017-11-22 16:40:55 · 348 阅读 · 0 评论 -
hbase开启debug
编辑hbase-daemon.sh,搜索INFO,改为DEBUG即可原创 2019-02-20 17:09:09 · 1014 阅读 · 0 评论 -
hbase rit解决
转载来自:wc问题:重启HBASE后出现hbase rit解决办法:hbase shell >assign 若无法解决,重启hbase转载 2019-06-13 16:22:06 · 958 阅读 · 2 评论 -
hbase shell 附加gc参数启动
$HBASE_SHELL_OPTS="-verbose:gc -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$HBASE_HOME/logs/gc-hbase.log" ./bin/hbase shell转载 2019-07-09 14:45:03 · 298 阅读 · 0 评论 -
-XX:ReservedCodeCacheSize设置太大导致regionserve无法启动
1.hbase master和hbase regionserver的设置如下:export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xmx10g -Xms10g -XX:PermSize=1g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=2g"export HBASE_REGIONSERVER_OPTS=...原创 2019-09-10 15:50:43 · 3677 阅读 · 0 评论 -
hbase 出现压缩队列和刷新队列过大的告警解决
转载来自:https://blog.csdn.net/su20145104009/article/details/81457691##问题目前hbase 总是出现压缩队列和刷新队列过大的告警,导致数据的读写变慢。首先说明一下目前集群的状况regionServer数量:20region 数量:6503regionServer配置:-Xms10g -Xmx10g -Xmn3g#...转载 2018-12-06 16:40:16 · 9729 阅读 · 0 评论 -
HBase 表级balancer配置
转载来自:https://blog.csdn.net/xiao_jun_0820/article/details/28648621 今天测试用hbaseadmin.split手动对region进行拆分,拆分完之后,并没有和我想的那样region均衡分布到3个regionserver上去。感觉很莫名,说好的balancer呢,怎么不起作用,于是我手工执行了一下hbaseadmin.balance...转载 2018-11-30 17:08:09 · 3100 阅读 · 0 评论 -
HBase原理-数据读取流程解析
转载来自:http://hbasefly.com/2016/12/21/hbase-getorscan/推荐:此篇文章的博主的全部博文,很强势:http://hbasefly.com和写流程相比,HBase读数据是一个更加复杂的操作流程,这主要基于两个方面的原因:其一是因为整个HBase存储引擎基于LSM-Like树实现,因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据转载 2017-11-24 15:25:08 · 230 阅读 · 0 评论 -
HBase小计
1.HBase设定Key大小首先比较RowKey,RowKey越小Key就越小;RowKey如果相同就看ColumnFamily,CF越小Key越小;CF如果相同看Qualifier,Qualifier越小Key越小;Qualifier如果相同再看Timestamp,Timestamp越大表示时间越新,对应的Key越小。如果Timestamp还相同,就看KeyType,KeyType按照D原创 2017-11-24 11:54:02 · 167 阅读 · 0 评论 -
HBase体系结构剖析--下
转载来自:https://www.cnblogs.com/tgzhu/p/5859014.html目录:writeCompactionsplitereadWrite:当客户端发起一个Put请求时,首先根据RowKey寻址,从hbase:meta表中查出该Put数据最终需要去的HRegionServer客户端将Put请求发送给相应的HRegionSer转载 2017-11-24 11:45:45 · 252 阅读 · 0 评论 -
传统的行存储和(HBase)列存储的区别
转载来自:http://blog.csdn.net/youzhouliu/article/details/67632882转载 2017-11-21 11:30:42 · 517 阅读 · 0 评论 -
Hbase MR入门
转载来自:http://www.aboutyun.com/thread-8671-1-1.html问题导读1.hbase作为数据读取源和输出源样例模板-包含那些过程?2.通过下例你认为hdfs读入hbase有几种方式?3.从hbase中的表作为数据源读取,hdfs作为数据输出,你认为的思路是什么?1、先看一个标准的hbase作转载 2017-11-21 10:14:28 · 502 阅读 · 0 评论 -
HBase master,slaver web端口配置
vim hbase-site.xml加入如下:hbase.master.info.port60010hbase.regionserver.info.port60011原创 2017-10-19 16:33:06 · 2916 阅读 · 0 评论 -
HBase-数据写入流程解析
转载来自:http://hbasefly.com/2016/03/23/hbase_writer/众所周知,HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松地支撑每天10T的写入量。当然,为了支持更高吞吐量的写入,HBase还在不断地进行优化和修正,这篇文章结合0.98版本的源码全面地分析HBase的写入流程,全文分为三个部分,转载 2017-11-24 17:37:41 · 373 阅读 · 0 评论 -
HBase HA搭建
转载来自:http://blog.csdn.net/u011414200/article/details/50383512Hbase HA 分布式搭建原创 2016年01月01日 10:25:053875一 背景二 HBase 搭建前准备1 主机规划2 系统基本配置 jdk ssh hosts3 网络时间协议 NTP4 安装 ZooKeeper三 HBase 安装配置1 下载解压 HBase 并配...转载 2018-02-09 14:43:53 · 264 阅读 · 0 评论 -
hbase单节点部署多regionserver
其实这个东西看透原理了很简单。。。。。。1.前期准备:hadoop2.6jdk1.8两个解压缩后的hbase官网包:命名为hbase1 和hbase22.配置hbase-site.xml(1)hbase1/conf/hbase-site.xml<configuration><property> <name>hbase.rootdir</name&g...原创 2018-03-05 14:37:58 · 3734 阅读 · 2 评论 -
Hbase权限控制
转载来自:https://blog.csdn.net/shenliang1985/article/details/51420332https://blog.csdn.net/jarth/article/details/52778207注意:来自官网的一段话,经测试hbase1.2.0-cdh5.13.1是开启的After hbase-2.x, the default 'hbase.se...转载 2018-11-21 11:36:23 · 4352 阅读 · 0 评论 -
hbase split操作
转载来自:https://zhuanlan.zhihu.com/p/39648692HBase - 解析split操作split操作:意义HBase数据写入首先会写入缓存,缓存写满会执行一次flush操作,每次flush都会生成一个HFile文件。随着HFile的增多,文件的读取效率势必会降低,HBase采用compact机制不断的对这些文件进行合并,将小文件合并成大文件。然而,对HBa...转载 2018-11-07 14:39:57 · 4380 阅读 · 1 评论 -
hbase数据批量入库后,hdfs无法观察到hbase的表目录下数据量增大
第一种解决办法:flush “表名”eg: flush "ipsource201807"第二种解决办法:major_compact “表名”(一般无效)eg: major_compact "ipsource201807"原创 2018-09-25 16:25:07 · 327 阅读 · 0 评论 -
spark操作Hbase出现cannot access its superclass com.google.protobuf.LiteralByteString异常解决
转载来自:https://www.iteblog.com/archives/1866.html最近写了一个Spark程序用来读取Hbase中的数据,我的Spark版本是1.6.1,Hbase版本是0.96.2-hadoop2,当程序写完之后,使用下面命令提交作业: [iteblog@www.iteblog.com $] bin/spark-submit --master yarn-c...转载 2018-07-20 16:21:10 · 4215 阅读 · 0 评论 -
Hbase bulkLoad 批量入库遇到的问题及解决方法
转载来自:https://blog.csdn.net/wangzhanchi8/article/details/794886461.2、BulkLoad 入库遇到问题及解决方法1.2.1、首先就是reduce相关的问题: 在实际的应用中你就会发现,对于稍大一点的数据量,map过程的执行效率还是比较让人满意的,但是到了reduce阶段就会出现比较严重的卡顿,我的困惑就是?我的代码里明明没有redu...转载 2018-05-11 15:45:14 · 4301 阅读 · 4 评论 -
HBase 内存配置详解
转载来自:http://www.thebigdata.cn/HBase/30378.htmlHBase最佳实践-内存规划线上HBase集群应该如何进行参数配置?这其实是很多HBase初学者在实践环节都可能会遇到的问题,有些人会选择默认配置,有些人会选择其他公司的推荐配置;诚然,这样的参数配置在大多数情况下都能正常工作,但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验,针对不同应用场...转载 2018-03-23 11:46:31 · 14111 阅读 · 1 评论 -
Hbase性能优化笔记
转载来自:http://www.cnblogs.com/shitouer/archive/2012/08/07/2626377.html#autoflush_false1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hb转载 2017-08-14 14:40:52 · 218 阅读 · 0 评论