hbase
文章平均质量分 64
未来影子
曾先后在百度、理想、快手参与研发工作
后端、大数据、NLP学习者
展开
-
HBase面试八股
文章目录HBase介绍HBase优缺点HBase数据结构HBase原理HBase架构(重点)HBase核心原理HBase写流程(重点)HBase读流程(重点)HBase的读写缓存HBase的数据删除HBase的RegionServer宕机以后怎么恢复HBase HA的实现(重点)HBase的rowkey设计原则(重点)HBase的热点问题HBase的大合并、小合并HBase数据的compact流程HBase的LSM结构HBase的Get和Scan的区别HBase和关系型(传统数据库)的区别? HBase介绍原创 2022-05-02 12:27:53 · 670 阅读 · 0 评论 -
HBase到MR再到HBase
自定义HBase-MapReDuce2——从Hbase表中读取数据,经过MR,再返回到一个新的Hbase表中 文章目录1)需求分析2)编写Mapper3)编写Reducer4)编写Driver5)本地连接Hbase6)检验 1)需求分析 从fruit表中抽出info:name信息,放入fruit2表中 2)编写Mapper package com.yingzi.mr2; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase原创 2022-01-31 23:07:11 · 1278 阅读 · 0 评论 -
HDFS写入HBase
自定义HBase-MapReDuce1——将HDFS中的数据写入Hbase表中 文章目录1)FruitMapper2)FruitReducer3)FruitDriver4)打包上传到hbase下 1)FruitMapper package com.yingzi.mr1; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper;原创 2022-01-31 23:05:45 · 2148 阅读 · 0 评论 -
官方HBase-MapReduce
运行官方HBase-MapReduce 文章目录1)前期环境配置2)案例一:统计stu表中有多少行数据3)案例二:使用MapReduce将本地数据导入到HBase 1)前期环境配置 在etc/profile配置 export HBASE_HOME=/opt/module/hbase-1.3.1 export PATH=$PATH:$HBASE_HOME/lib/* 在将分发给其他集群 2)案例一:统计stu表中有多少行数据 /opt/module/hadoop-3.1.3/bin/yarn jar lib原创 2022-01-31 23:04:39 · 1000 阅读 · 0 评论 -
HBase进阶
HBase进阶 文章目录1.架构原理2.写流程3.MemStore Flush4.读流程5.StoreFile Compaction6.Region Split 1.架构原理 1)StoreFile 保存实际数据的物理文件,Store以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的 2)MemStore 由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到H原创 2022-01-30 23:34:44 · 489 阅读 · 0 评论 -
HBase初入
HBase初入 文章目录1.HBase定义可扩展2.HBase数据模型2.1HBase逻辑结构2.2HBase物理存储结构2.3数据模型3.HBase基本架构 1.HBase定义可扩展 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库 2.HBase数据模型 逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map 2.1HBase逻辑结构 2.2HBas原创 2022-01-29 23:46:57 · 76 阅读 · 0 评论