大数据
文章平均质量分 82
天一涯
希望每天都有新收获~
展开
-
hbase目录结构及元数据修复
最近知识星球有人问浪尖,自己的hbase集群元数据丢失了,但是数据还在,是否能够修复,其实这种情况下利用数据的hfile去修复元数据很常见,也有很多时候我们是生成hfile加载进hbase。那么他又问了,假设数据也丢失了,或者数据存在大量坏块,是否能进行修复。首先要先修复坏块,一本有副本,假设不是所有数据副本一起损坏,通过清除坏块,修复副本,然后再逆向修复hbase的元数据也是可行的。但是如果清除坏块之后数据丢了,那也可以修复hbase元数据,只是丢了数据而已。HBase中的元数据表中记录了Regi转载 2021-04-16 10:47:19 · 1424 阅读 · 0 评论 -
hbase shell常用命令
help 查看命令的使用描述 help ‘命令名’whoami 我是谁 whoamiversion 返回hbase版本信息 versionstatus 返回hbase集群的状态信息 statustable_help 查看如何操作表 ...原创 2021-02-28 10:38:59 · 198 阅读 · 0 评论 -
hbase问题排查思路
HBCK - HBCK检查什么?(1)HBase Region一致性 集群中所有region都被assign,而且deploy到唯一一台RegionServer上 该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致 (2)HBase 表完整性 对于集群中任意一张表,每个rowkey都仅能存在于一个region区间 HBCK – 常用检查命令 hbase hbck hbase hbck –details .转载 2021-01-28 18:38:33 · 1275 阅读 · 0 评论 -
HBase修复命令
新版本的 hbck 可以修复各种错误,修复选项是: (1)-fix,向下兼容用,被-fixAssignments替代 (2)-fixAssignments,用于修复region assignments错误 (3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。 (4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题 (5)-fixHdfsOrphans,修复O...原创 2021-01-28 09:03:22 · 1401 阅读 · 0 评论 -
HDFS 副本存放磁盘选择策略详解
在 HDFS 中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的设备上,比如分别配置到不同的HDD(HDD的全称是Hard Disk Drive)和SSD(全称Solid State Drives,就是我们熟悉的固态硬盘)上。当我们往 HDFS 上写入新的数据块,DataNode 将会使用 volume 选择策略来为这转载 2020-12-17 19:41:10 · 1042 阅读 · 0 评论 -
hdfs配置多块硬盘存储
datanode配置多个数据存储地址,涉及到以下两个配置项dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for原创 2020-12-17 19:34:16 · 1109 阅读 · 0 评论 -
Hbase禁用自带ZooKeeper,使用已经安装的ZooKeeper
1.修改conf/hbase-env.shexport HBASE_MANAGES_ZK=falseHBASE_MANAGES_ZK=false 时使用独立的,为true时使用默认自带的。2.拷贝zookeeper的配置文件zoo.cfg到HBase的conf目录(官方推荐的方式)cp /opt/zookeeper/conf/zoo.cfg./conf/...原创 2020-12-17 19:20:48 · 2028 阅读 · 0 评论 -
手动安装hadoop+hbase
https://www.cnblogs.com/zingp/p/11223220.html#_label2https://www.cnblogs.com/yeyusheng/p/8820490.htmlhttps://developer.aliyun.com/article/26560原创 2020-12-17 18:50:13 · 132 阅读 · 0 评论 -
CDH管理界面查看各组件的版本
安装好的CDH如果查看hive的版本呢,1、官网2、管理界面中官网查看一般看到的都是CDH系统默认自带的版本,如果你的CDH在运行的过程中升级过,那再参考官网的版本就会出现错误。参考:http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_55x.html#co...原创 2020-02-24 20:27:11 · 5606 阅读 · 0 评论 -
MapReduce作业运行流程
基本概念MapReduce采用了Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave运行TaskTrackerJobTracker:初始化作业,分配作业,TaskTracker与其进行通信,协调监控整个作业TaskTracker:定期与JobTracker通信,执行Map和Reduce任务HDFS:保存作业的数据、配置、j...原创 2020-02-18 10:42:46 · 1564 阅读 · 0 评论 -
Linux下CDH版本选择
官网关于CDH的文档介绍:https://www.cloudera.com/documentation/enterprise/5-11-x/topics/cm_intro_primer.htmlCDH版本及相应环境需求介绍:https://www.cloudera.com/products.html选择要下载的版本,这里以5.9为例选中版本后再往下翻就看到相应的环境需求了...原创 2019-08-13 09:33:30 · 4486 阅读 · 0 评论