HBase
文章平均质量分 89
笔者暂时没有留下简介!!!
小中.
这个作者很懒,什么都没留下…
展开
-
HBase集群修复工具HBCK2
HBCK2目前是一个简单的工具,一次只做一件事。在hbase-2.x中,Master是所有状态的最终决定者,所以大多数HBCK2命令原则是要求Master实现对hbase进行修复。这意味着在你运行HBCK2命令之前,Master必须已经启动。HBCK2的实现方法是利用Master的HbckService服务,该服务发布了一些方法供HBCK2工具使用。因此,HBCK2依赖Master的HbckService服务,HBCK2做的第一件事是探查集群以确保服务是可用的。...原创 2022-07-18 11:50:19 · 2183 阅读 · 0 评论 -
HBase&Spark集成 -- DataFrame
HBase&Spark集成 – DataFrame Apache HBase 是一个成熟的 NoSQL 存储系统,已在大规模生产部署中得到证明。尽管 HBase 是一个键值存储,但对于像 SQL 一样更轻松地访问数据的需求很高。Apache Spark SQL 提供了基本过滤和插入数据的强大支持。hbase-connectors子项目提供了HBase 与SparkSQL 的集成。 hbase -spark 集成 利用 Spark-1.2.0 版本中引入的DataSource API。HB原创 2022-04-24 09:32:08 · 3854 阅读 · 0 评论 -
解决HBase一个cell存储超10M的异常
解决Hbase KeyValue size too large或 Cell with size 25000046 exceeds limit of 10485760 bytes at的异常。HBase默认一个cell(单元格)只能存10M,有一些需求一个cell存大于10M的数据,比如将BitSet、BitMap对象存在HBase上。BitSet或BitMap存一亿个整数只需要11.9M,如存Integer需要381M,总之就是能节省很多空间。下一篇文章会讲BitSet、BitMap的算法这里就不多原创 2021-07-15 23:14:51 · 4484 阅读 · 4 评论 -
Phoenix代码集成、Phoenix集成MapReduce和GUI使用
Phoenix集成Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。下载apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz,注意下载的Phoenix版本必须和hbase目标版本保持一致。原创 2020-11-26 20:00:42 · 490 阅读 · 0 评论 -
HBase分布式数据库(NoSQL)
Apache HBase介绍HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop的HDFS之上提供了类似于Bigtable的能力。HDFS和HBase之间的关系HBase的全称Hadoop Database,HBase是构建在HDFS之上的一款数据存储服务,所有的物理数据都原创 2020-10-13 22:30:53 · 3288 阅读 · 0 评论