hbase专栏
文章平均质量分 89
猿来如此dj
目前西安工作-航天宏图公司大数据开发工程师,欢迎大家交流。
展开
-
hbase面试
1:hbase架构Client 包含了访问 HBase 的接口,另外 Client 还维护了对应的 Cache 来加速 HBase 的访问,比如 Cache 的.META.元数据的信息。HMaster:HBase 的主节点,负责整个集群的状态感知、Region server的负载均衡、region分配,管理用户对table的增删改操作。HMaster 负载压力相对于 HDFS 的 NameNode会小很多。HBase 的 HMaster 其实就算是宕机一段时间也可以正常对外提供服务的Regi原创 2021-04-12 19:09:28 · 308 阅读 · 0 评论 -
使用phoneix连接hbase
1:phoneix介绍官网1.1:简介Phoenix是构建在HBase上的一个SQL层,专为HBase研发。能让我们用标准的JDBC API而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。1:下载安装Download:http://phoenix.apache.org/download.html,下载hbase对应版本的phoenix;解压bin.tar.gz包,拷贝phoenix server j原创 2021-11-09 17:09:05 · 2405 阅读 · 0 评论 -
hbase的web管理界面
hbase的web管理界面主界面: Home: Table Details Procedures Local Logs Log Level Debug Dump Metrics Dump HBase Configuration 管理界面 表详情 生产 本地日志 日志级别 调试 存储统计 HBase配置Region Servers: Base Stats Memory Requests Storefiles Compactions 基本统计:ip 内原创 2020-09-17 13:17:26 · 6245 阅读 · 0 评论 -
(一)一文读懂Hbase
1:hbase简介hbase官网1.1:hbase简介HBase 是 BigTable 的开源(源码使用 Java 编写)版本。是 Apache Hadoop 的数据库,是建立在 HDFS 之上,被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL的分布式数据存储系统,实现对大型数据的实时、随机的读写访问。1:hbase的组件依赖HBase 依赖于 HDFS 做底层的数据存储HBase 依赖于 MapReduce 做数据计算HBase 依赖于 ZooKeeper 做服务协调原创 2020-08-17 15:52:14 · 1023 阅读 · 0 评论 -
(二)hbase的数据库操作
hbase的shell操作hbase shell进入hbase2、创建表创建一张 hbase 表,表名叫做 user,该表有 info 和 data 两个列簇,注意,创建表的时候不用指定列的信息,插入数据的时候才需要指定 key-value 的信息,这个 key 就是列create ‘user’, ‘info’, ‘data’ 也可以这样写:create ‘user’,{NAME=&g...原创 2019-10-03 12:11:25 · 2347 阅读 · 1 评论 -
(三)实战1:hbase的2.X版本java API开发说明以及demo
Hbase Java API 代码开发几个主要 Hbase API 类和数据模型之间的对应关系:java 类 HBase 数据模型HBaseAdmin HBaseConfiguration 数据库(DataBase)HTable 表Table)HColumnDescriptorHTableDescriptor 列簇(Column...原创 2019-10-03 12:23:33 · 2573 阅读 · 0 评论 -
(三)实战2:hbase的1.X版本java APIjava开发实例
hbase的java开发实例1:hbase的代码编写思路:1、准备连接hbase集群的配置信息 zookeeper的位置 HBaseConfiguration2、根据连接信息获取连接对象 Connection3、根据连接对象获取操作对象 有两大类: DDL : Admin DML : Table4、根据你要做的操作,拿到操作对象,调用这个对象中的对应方法进行实际操...原创 2019-10-03 13:22:54 · 673 阅读 · 0 评论 -
(三)实战3:hbase的MapReduce之Java操作---HDFSToHBase
HDFS数据处理保存到ToHBase程序运行之前,要先做两件事:* 1、把 student.txt 文件放入:/bigdata/student/input/目录中* 2、创建好一张 hbase 表:* create "student", "info"*/public class HDFSDataToHBaseMR extends Configured implements Tool{...原创 2019-04-28 16:39:36 · 177 阅读 · 0 评论 -
(三)实战4:hbase的MapReduce之Java操作
编写 mapreduce 程序从 hbase 读取数据,然后存储到 hdfs/**描述:*/public class HBaseDataToHDFSMR {public static final String ZK_CONNECT = “hadoop02:2181,hadoop03:2181,hadoop04:2181”;public static final String ZK_C...原创 2019-04-28 16:34:34 · 581 阅读 · 0 评论 -
(四)hdfs,hbse,hive的区别
hdfs,hbse,hive的区别HDFS(Hadoop分布式文件系统):HDFS允许以分布式和冗余方式存储大量数据。HDFS组件• NameNode• DataNodeNameNode:NameNode可以被视为系统的管理者。它维护系统文件树以及系统中存在的所有文件和目录的元数据。其中“命名空间镜像(Namespace image)”和“编辑日志”用于存储元数据信息。 Namenode...原创 2019-04-29 14:53:22 · 4253 阅读 · 0 评论 -
(五)hbase读写数据流程以及优化
hbase读写数据流程1:hbase整体存储架构hbase整体操作流程1、Table 中的所有行都按照 RowKey 的字典序排列。2、Table 在行的方向上分割为多个 HRegion。3、HRegion 按大小分割的(默认 10G),每个表一开始只有一个 HRegion,随着数据不断插入表,HRegion 不断增大,当增大到一个阀值的时候,HRegion 就会等分会两个新的 HRegion。 当表中的行不断增多,就会有越来越多的 HRegion。4、HRegion 是 Hbase 中分布式原创 2020-08-27 12:37:11 · 412 阅读 · 0 评论 -
(六)hbase的过滤器使用
hbase的过滤器使用文章目录hbase的过滤器使用1:过滤器1:Filter接口和FilterBase抽象类2: 过滤器分类2.1:比较器和比较运算符2.1:比较过滤器CompareFilter2.2:专用过滤器2.3:包装过滤器3:shell使用过滤器操作示例4:java开发过滤器示例1:过滤器Hbase 提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。原创 2020-08-27 12:21:59 · 1025 阅读 · 0 评论 -
使用HBaseTestingUtility进行本地单元测试
1:简介在调试MR任务或者操作Hbase表时,往往我们需要将本地代码打成Jar包,然后上传到Hadoop集群上去跑,这样不仅麻烦,还不方便调试,Hadoop开发团队提供了在本地调试代码的API,就是MiniHbaseCluster, 在本机JVM中模拟一个Hadoop集群,与真实环境的Hadoop集群并没有区别,方便我们提交任务和Debug。...原创 2021-11-07 10:48:12 · 1582 阅读 · 1 评论