hbase日常维护
文章平均质量分 89
xiaokebiubiubiu
星光不负赶路人,江河眷顾奋楫者
展开
-
Hadoop Web控制台添加身份验证
我们在安装完hadoop 2.x 版本之后,默认情况下,可以通过 http://ip:50070/dfshealth.html访问hdfs页面,查看namenode和datanode状态,以及hdfs的相关文件等。但是这存在安全隐患,可能导致我们的文件信息的泄露,如果我们在页面里面添加个认证机制,只有验证之后的用户才可以进入页面里操作。下面介绍一个既安全又好用的配置方案。既然这是一个web界面,那就可以从为web项目添加用户校验入手,而不是为hadoop提供用户校验入手。1、...原创 2021-03-08 00:25:23 · 5504 阅读 · 16 评论 -
Hbase跨集群数据同步验证
环境信息 集群 主机名称 IP地址 HDFS HBASE zookeeper kerberos A集群 pthadoop01.dcs.com 192.168.98.37 namenode journalnode datanode hmster...原创 2021-03-08 00:10:17 · 3805 阅读 · 4 评论 -
Hbase读写缓存优化
我们在hbase使用过程,经常遇到hbase慢问题,我们在生产中也是遇到这个,尤其是大量业务袭来的时候,数据量一上来,hbase读写慢问题非常明显。很多时候,是通过日志和监控观察某个节点压力大,重启对应的region server,这样可以短时解决hbase慢过程中region server服务夯死的问题,但是重启后,本地化率降低,查询还是变慢,出现了夯死、重启、本地化率低的死循环。于是我们分析hbase读写缓存情况,发现有可以改善的地方。首先我们调整了datanode的jvm, ...原创 2021-03-06 23:49:20 · 1042 阅读 · 1 评论 -
Hadoop的资源隔离
Hadoop的资源隔离背景 最近在接入oss域的hadoop集群中发现,当接入的集群的用户较多跑MR相关的spark、hive等服务时,如果不做资源的管理与规划,那么整个Yarn的资源很容易被某一个用户提交的Application占满,其它任务只能等待,这种当然很不合理,我们希望每个业务都有属于自己的特定资源来运行MapReduce任务,这里我们通过Hadoop中提供的公...原创 2021-03-06 23:31:33 · 854 阅读 · 3 评论 -
Hbase表跨集群迁移手册
Hbase表跨集群迁移手册将旧集群的namespaceA下的表移到新集群的namespaceB下面1、检查新、旧集群的hdfs、hbase是否正常(1)使用命令:hbase hbck #查看hbasemeta表情况,确认0个,说明hdfs中的数据和hbase表中的meta表是对应的。(2)使用hdfs dfsadmin –report查看集群中的hdfs是否有block异常查看无异常以后,继续前进。。。2、将旧集群文件数据复制至新集群(1)前面确认好两...原创 2021-02-25 16:21:33 · 405 阅读 · 1 评论