Fate is about choice

一、需求场景随着业务数据的快速增长，物理磁盘剩余空间告警，需要将数据备份从3份修改为1份，从而快速腾出可用磁盘容量。二、解决方案1. 修改hdfs的副本数Hbase 的数据是存储在 hdfs 上的，Hbase的副本数是默认读取hdfs的配置进行副本备份的，所以需要修改hdfs上的副本数据。2.删除重复数据修改hdfs-site.xml的副本数，只能对以后的数据有效，不能修改...

之前的环境是单独下载的CDH组件包搭建的集群，但是因为hadoop版本过低导致漏洞无法修复，重新搭建高版本集群环境。新集群环境：主要组件：hadoop，hbase，zookeeper，Key-Value Store Indexer1.创建hbase表：hbase shellcreate 'users', { NAME => 'info', REPLICATION...

[client.RpcRetryingCaller(142)]Callexception,tries=10,retries=35,started=38465msago,cancelled=false,msg=row'bvuser,195861-魂牵梦萦555,99999999999999'ontable'hbase:meta'atregion=hbase:meta,,1.1588230740,ho...

最近准备开始研究Hbase源码，因为第一次研究源码，所以做片笔记，踩坑踩的很耗时。1.我用的IDE是IDEA，本地window需要配置JDK,MAVEN,HADOOP环境2.上GitHub下载Hbase源码（可以使用git或直接下载）：https://github.com/apache/hbase，并解压到电脑3.在解压后的目录中执行命令：mvn clean package -...

最近一段时间工作涉及到hbase sql查询和可视化展示的工作，hbase作为列存储，数据单一为二进制数组，本身就不擅长sql查询；而且有hive来作为补充作为sql查询和存储，但是皮皮虾需要低延迟的sql及复杂sql的查询（根据值查找数据的情况），这就要用到hbase的二级索引。这里的二级索引方式采用的Hbase+Hbase-indexer+solr，还有Phoenix等方式。...