HBase
本栏有关HBase学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
一键启动HBase脚本编写
一键启动HBase脚本所解决的问题:解决一台一台启动zookeeper繁琐问题解决因时间不同步导致HBase启动失败的问题脚本编写hbase-start.sh:# !/bin/bashhbase_master=bigdata-pro-m07cat /opt/modules/hbase/onekey/slave | while read linedo{ echo $line + "同步时间" ssh $line ntpdate cn.pool.ntp.org ssh $line原创 2021-04-29 16:10:43 · 460 阅读 · 0 评论 -
Centos7下HBase安装与配置(亲测!)
目录Centos7下Hadoop完全分布式安装第一步:安装软件(1)上传文件(2)解压文件第二步:配置环境变量第三步:修改配置文件(1)修改hbase-env.sh配置文件(2)修改hbase-site.xml配置文件(3)修改regionservers 文件(4)配置backup-masters (可选)第四步:分发配置文件第五步:启动与检测第六步:常见问题总结Centos7下Hadoop完全分布式安装电脑系统:macOS 10.15.4虚拟机软件:Parallels Desktop14Hado原创 2020-06-20 13:28:59 · 7758 阅读 · 2 评论 -
HBase常用命令大全
目录(1)进入HBase(2)查看服务器状态(3)查询HBase版本(4)查看有哪些表(5)创建表(6)添加一个列族(7)删除列族(8)启用指定的表(9)禁用指定的表(10)查看表是否启用(11)查看表是否禁用(12)删除一张表(13)查看表的结构(14)检查表是否存在(15)删除表中的记录(16)删除整行的值(17)更新表中记录(18)查看行键中记录(19)查看表中记录数(20)扫描整张表(21)扫描整个列族(22)查看指定表中某个列族的所有数据(23)限制查询结果的条数(24)使用行键RowFilter原创 2020-06-21 17:34:06 · 1690 阅读 · 0 评论 -
HBase的应用场景及架构原理
目录一、HBase在实际业务场景中的应用二、HBase的特点三、HBase数据模型并举例说明(1)逻辑存储模型(2)物理存储模型四、HBase基本架构(1)HMaster(2)HRegionServer(3)基本架构一、HBase在实际业务场景中的应用HBase是一个构建在HDFS上的分布式列存储系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储HBase能做什么?海量数据存储准实时查询举例说明HBase在实际业务场景中的应用交通金融电商移原创 2020-06-20 15:32:40 · 1079 阅读 · 2 评论 -
HBase Region分区、数据压缩及与Sqoop集成操作
目录一、HBase表region预分区的几种方式二、HBase表数据的压缩配置三、HBase与Sqoop集成一、HBase表region预分区的几种方式第一种:创建5个region分区表create_namespace 'track'create 'track:stu', 'info', SPLITS => ['10', '20', '30', '40']第二种:split强制拆分split 'tableName', 'splitKey'split 'track:stu', '50原创 2020-11-13 15:19:02 · 303 阅读 · 0 评论 -
HBase数据迁移详解!
目录一、数据迁移方案二、数据迁移实施(1)通过importtsv命令(2)通过importtsv命令+completebulkload(3)不同文件中数据分割符的处理(4)自定义MR程序生成HFfile文件(企业常用的方案)一、数据迁移方案数据迁移,更多的场景是外部的数据源如何将数据写入到HBase1.数据库RDBMS1)sqoop 2)kettle ETL工具3)其他方式 **写程序 **导出文件加载2.数据文件(log)1)flume:实时数据收集,将数据的数据插入到HBase原创 2020-11-12 21:10:34 · 847 阅读 · 0 评论 -
HBase与MR的集成
MR <--- 读取 HBase的数据 MR ---> 写入 HBase(使用场景:数据迁移) HBase -> MR -> HBase 读取和写入(使用场景:索引表的建立)1.MR与HBase集成所需要的jar包bin/hbase mapredcp2.运行环境export HADOOP_HOME=/opt/modules/hadoopexport HBASE_HOME=/opt/modules/hbaseHADOOP_CLASS...原创 2020-11-12 16:50:08 · 442 阅读 · 0 评论 -
HBase Java API 使用详解
HBase 主要包括 5 大类操作:HBase 的配置、HBase 表的管理、列族的管理、列的管理、数据操作等。本节将从scan、put、get、delete操作HBase讲解HBase Java API。第一步:将hbase中的hbase-site.xml拷贝到IDEA工具中。第二步:添加pom文件,内容如下:<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hb原创 2020-11-10 19:27:12 · 673 阅读 · 0 评论 -
HBase数据存储和架构
1.Table中的所有的行都是按照row key 字典序排列2.Table在行的方向上分割为多个region3.Region按大小分割的,每个表开始只有一个region,随着数据量的增多,region不断的增大,当增大到一个阈值的时候,region就会等分两个新的region,之后会有越来越多的region;4.Region是HBase中分布式存储和负载均衡的最小单元。不同的region分布到不同的RegionServer上;5.Region虽然是分布式存储的最小单元,但并不是存储的最小单元Reg原创 2020-11-09 21:55:18 · 204 阅读 · 0 评论