HBASE,phoenix(分布式海量NOSQL数据库)
HBASE,phoenix(分布式海量NOSQL数据库)
涂作权的博客
To do what I want to do!
展开
-
hbase操作,创建命名空间,创建hbase表,添加数据,删除数据,通过RowKey获取数据,扫描数据,获取所有的表,获取ColumnFamily,删除表,获取hbase命名空间
1、创建hbase工程2 编写config.properties# hbase信息hbase.zookeeper.quorum=xxx.xxx.xxx.xxx,xxx.xxx.xxx.xxx,xxx.xxx.xxx.xxxhbase.zookeeper.property.clientPort=21813 编写Configpackage com.test.hbasecopy.beans;import org.springframework.beans.factory.annotation.原创 2020-10-03 21:17:11 · 1017 阅读 · 0 评论 -
hbase的备份恢复1,Expor过程,Import过程,统计hbase表行数;hbase备份恢复方式2:使用hdfs备份hbase数据,基于hbase数据进行恢复
25.28 hbase数据备份和恢复以下过程针对线上没有启动新旧集群的情况,所以使用hbase export / import的方式进行数据的备份和迁移25.28.1 Export过程首先,先进入hbase所在机器,然后执行命令:hbase shellhbase(main):001:0> listTABLE原创 2020-10-02 10:07:52 · 397 阅读 · 0 评论 -
HBase不同版本集群之间数据迁移
本文摘自:https://www.dazhuanlan.com/2019/10/20/5dac43ffeb75a/由于HBase CDH4和CDH5数据格式不兼容,所以不能用“CopyTable”之类的方法来进行数据迁移。取而代之的方法有两个:export在CDH4集群上,将制定表的数据导出为sequence file到指定目录,基本命令如下:hbase org.apache.hadoop.hbase.mapreduce.Export [options] <tablename> <转载 2020-08-28 10:00:57 · 695 阅读 · 0 评论 -
phoenix+hbase+Spark整合,Spark处理数据操作phoenix入hbase,Spring Cloud整合phoenix
1 版本要求Spark版本:spark-2.3.0-bin-hadoop2.7Phoenix版本:apache-phoenix-4.14.1-HBase-1.4-binHBASE版本:hbase-1.4.2上面的版本必须是对应的,否则会报错2 Phoenix + HBase + Spark整合A:安装HBASE,这里略,默认都会B:Phoenix + HBASE整合,参考:ht...原创 2019-03-19 09:53:31 · 7780 阅读 · 3 评论 -
Phoenix二级索引(Secondary Indexing)的使用(转:https://www.cnblogs.com/MOBIN/p/5467284.html)
摘要HBase只提供了一个基于字典排序的主键索引,在查询中你只能通过行键查询或扫描全表来获取数据,使用Phoenix提供的二级索引,可以避免在查询数据时全表扫描,提高查过性能,提升查询效率测试环境:数据约370万数据格式:(数据来自搜狗实验室)三节点集群(一主两从,hadoop和HBase属同一集群)目录Covered Indexes(覆盖索引)Functional indexe...转载 2018-11-27 17:21:36 · 4994 阅读 · 0 评论 -
Hive 整合Hbase(来自学习资料--博学谷)
1、摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。2、应用场景2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源2.3 构建低延时的数据仓库 3、环境准备3.1 hiv...原创 2018-08-08 12:58:36 · 1366 阅读 · 0 评论 -
使用Phoenix连接HBASE,squirrel使用,代码连接使用Phoenix
1 使用Phoenix连接HBASE1.1 什么是Phoenix?phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建...原创 2018-08-08 12:43:04 · 6887 阅读 · 2 评论 -
我理解的HBSE应用场景(交流篇)
1、数据量极大,并且要去实时查询的业务场景使用这个才会提现真正的应用价值。 2、若数据量没有到亿级别的实时查询,觉得用这个HBASE有些大材小用的感觉。,暂时没有达到亿级别,但是数据量增长特别快,能够很快的时间达到相应的量级,这时候用这个似乎更好一些 3、若使用数据库,亿级别这些,分库分表,索引,机器性能,这些都是巨大的挑战的场景下,数据库IO是个瓶颈。HBSAE能够有效避免这些。 4、还有...原创 2018-06-18 18:37:25 · 1269 阅读 · 0 评论 -
Hbase的应用场景、原理及架构分析(转:https://blog.csdn.net/xiangxizhishi/article/details/75388971)
Hbase概述hbase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要 一员,主要用于海量结构化数据存储。从逻辑上讲,HBase将数据按照表、行和列进行存储。 如图所示,Hbase构建在HDFS之上,hadoop之下。其内部管理的文件全部存储在HDFS中。与HDFS相比两者都具有良好的容错性和扩展性,都可以 扩展到成百上千个节点。但HDF...转载 2018-06-18 18:31:05 · 324 阅读 · 0 评论 -
Java连接HBASE数据库,创建一个表,删除一张表,修改表,输出插入,修改,数据删除,数据获取,显示表信息,过滤查询,分页查询,地理hash
准备工作 1、创建Java的Maven项目 创建好的目录结构如下: 另外注意junit的版本,最好不要太高,最开始笔者使用的junit4.12的,发现运行的时候会报错。最后把Junit的版本改成4.7的之后,问题解决了。创建测试工具类HbaseDemo,为了保证能够让HBASE运行,需要最开始写出如下配置:package toto.com.hbase;import java.util.Arra原创 2017-06-23 17:46:56 · 2344 阅读 · 1 评论 -
HBase建表高级属性,hbase应用案例看行键设计,HBase和mapreduce结合,从Hbase中读取数据、分析,写入hdfs,从hdfs中读取数据写入Hbase,协处理器和二级索引
1. Hbase高级应用1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性1、 BLOOMFILTER 默认是NONE 是否使用布隆过虑及使用何种方式 布隆过滤可以每列族单独启用。 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族原创 2017-06-25 00:26:22 · 2501 阅读 · 0 评论 -
hbase系统架构图以及各部分的功能作用,物理存储,HBase寻址机制,读写过程,Regin管理,Master工作机制
1.1 hbase内部原理1.1.1 系统架构 Client 1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。Zookeeper 1 保证任何时候,集群中只有一个master 2 存贮所有Region的寻址入口—-root表在哪台服务器上。 3 实时监控Region Server的状态,将Region server的上线原创 2017-06-24 23:53:03 · 8823 阅读 · 0 评论 -
hbase 简介、HBASE重要概念、表Table、命名空间、Row Key,区域Region、列族、hbase shell命令行方式操作,命名空间操作
进入hbase命令行 cd /home/tuzq/software/hbase-1.3.1/bin ./hbase shell 查看帮助 显示hbase中的表 List(列出你有哪些表) 创建user表,包含info、data两个列族 create ‘user’, ‘info’, ‘data’ create ‘user’, {NAME =&amp;gt; ‘info’, VERSIONS =&amp;gt;原创 2017-06-23 16:23:10 · 16847 阅读 · 2 评论 -
hbase集群搭建,hbase单个节点重启
1.1 hbase集群结构 REGION:是HBASE中对表进行切割的单元HMASTER: HBASE的主节点,负责整个集群的状态感知,负载分配、负责用户表的元数据管理 (可以配置多个用来实现HA) 为regionserver分配region,负责regionserver负载均衡 用户对表的增删改查 如果当前的regionserver宕机,会把region迁移REGION-S...原创 2017-06-22 13:27:12 · 6819 阅读 · 0 评论 -
hbase数据库介绍,HBASE的特点,表结构逻辑视图,Row Key,列族,时间戳,Cell
HBASE数据库1. Hbase基础1.1 hbase数据库介绍1、简介nosqlhbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系+ 统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 pho原创 2017-06-22 10:55:32 · 6299 阅读 · 0 评论