大数据——列式大数据库Hbase
文章平均质量分 73
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用Hadoop HDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构的松散数据
友培
感觉数据+AI之美
展开
-
Hbase学习视频心得(三)Phoenix使用全过程、Hbase与Hive集成使用、Hbase优化
文章目录文章目录1、Phoenix搭建(Phoenix 4.15 HBase 1.4.6 hadoop 2.7.6)1)、关闭hbase集群,在master中执行2)、上传解压配置环境变量3)、将phoenix-4.15.0-HBase-1.4-server.jar复制到所有节点的hbase lib目录下4)、启动hbase , 在master中执行5)、连接sqlline2、Phoenix Shell基本操作1)、基本操作2)、表的映射①、视图映射:②、表映射:3、Phoenix JDBC操作1)、导入原创 2021-01-23 23:53:51 · 415 阅读 · 0 评论 -
Hbase bulkloading 基本操作
文章目录Hbase bulkloading1、Hbase bulkloading优点2、Hbase bulkloading缺点3、练习1)、准备工作2)、编写demo06BulkLoading.java3)、运行jar包 Hbase bulkloading 1、Hbase bulkloading优点 1)、 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat原创 2021-01-23 20:32:20 · 305 阅读 · 0 评论 -
Hbase学习视频心得(二)Hbase读写流程、memstore刷新、storeFile合并,region切分
文章目录目录1、Hbase架构原理1)、hdfs数据是不能随机修改的,但是hbase却能做到修改数据?2)、内存可以修改,那落盘后的数据怎么修改呢?3)、内存数据不安全,有什么保障呢?2、Hbase的写流程1)、客户端获取元数据信息2)、执行写操作3)、提问:由于一个表的region有多个,可能存储在多个节点上,那么客户端在获取了元数据后该向哪个regionserver上发起put请求呢?4)、补充3、MemStore Flush1)、MemStore刷写时机这种的刷写方式会出现隐患:4、Hbase的读流程原创 2021-01-21 21:57:46 · 339 阅读 · 0 评论 -
Hbase架构的经典三提问
1)、hdfs数据是不能随机修改的,但是hbase却能做到修改数据? 当向store写入一个修改值的时候,她并没有直接删除原数据增加新数据,store里面其实是一个内存+磁盘的混合体,内存(MemStore)中存最新的数据,每次我们写数据的时候,先写入内存中,当内存满了后再落盘到磁盘中成为一个StoreFile,StoreFile再存于hdfs上。所以在内存中是可以修改的。 2)、内存可以修改,那落盘后的数据怎么修改呢? 会在内存中写一条新的数据,要修改的数据不删除,读取的时候以内存的数据为准。 3)、内.原创 2021-01-20 16:58:05 · 105 阅读 · 1 评论 -
Hbase学习视频心得(一)Hbase基本介绍、分布式搭建、shell基操
文章目录1、Hbase定义2、Hbase的逻辑结构3、Hbase物理存储结构4、Hbase分布式搭建(hbase1.4.6、hadoop2.7.6、zookeeper3.4.6)5、Hbase重点补充:6、Hbase Shell基本操作1)、基操2)、表的操作7、Hbase的高可用 1、Hbase定义 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库 2、Hbase的逻辑结构 3、Hbase物理存储结构 4、Hbase分布式搭建(hbase1.4.6、hadoop2.7.6、zooke原创 2021-01-20 15:32:49 · 215 阅读 · 0 评论