HBase
文章平均质量分 84
未来在这儿
熟悉k8s、docker;熟悉Spark Streaming,Storm,Flink,Hadoop,Hive,Redis,Kafka,RocketMQ,ES;熟悉Socket,AIO/NIO技术,熟练使用Gradle、Maven、Spring Boot2、SpringMVC、MyBatis; 熟炼掌握Oracle、MySql、SQLite、MongoDB等数据库开发 熟悉React、Vue等框架 ;熟练运用Git/Github, SVN,CC等 熟悉报表工具BI、ETL工具Kettle ;熟悉Asp.net平台,熟悉C#;熟练开发安卓和ios
展开
-
Hbase Java API操作
Hbase有多种不同的客户端,如REST客户端,Thift客户端,ORM框架Kundera等等。Hbase也提供了Java的API来操作表与列簇等信息,它的shell就是对Java的API做了一层封装。我们还是直接看代码这样理解的更容易环境。转载 2023-02-23 08:15:00 · 2180 阅读 · 0 评论 -
HBase的预分区与HBase的rowKey的设计原则
1.HBase是面向列式存储的分布式的NoSql数据库;2.HBase底层是基于HDFS实现的,集群是通过Zookeeper管理的;3.海量存储,快速访问。RowKey与关系型数据库中的主键相似,HBase 使用 RowKey 来唯一标识某行的数据。原创 2023-02-08 10:45:00 · 624 阅读 · 0 评论 -
java.lang.IllegalStateException: unread block data
Spark 通过HIVE ON HBASE表读取数据源,报错:unread block data原创 2023-02-01 08:30:00 · 1492 阅读 · 3 评论 -
Hive整合HBase,操作HBase表
HBase是被设计用来做k-v查询的,但有时候,也会遇到基于HBase表的复杂统计,写MR很不方便。Hive考虑到了这点,提供了操作HBase表的接口。值得商榷的是,使用Hive操作HBase中的表,只是提供了便捷性,对于性能上,较MapReduce并不会提升太多,请大家酌情使用。原创 2023-01-27 16:00:20 · 1158 阅读 · 2 评论 -
Hive整合HBase,操作HBase表
Hive与HBase利用两者本身对外的API来实现整合,主要是靠HBaseStorageHandler进行通信,利用 HBaseStorageHandler,Hive可以获取到Hive表对应的HBase表名,列簇以及列,InputFormat和 OutputFormat类,创建和删除HBase表等。Hive访问HBase中表数据,实质上是通过MapReduce读取HBase表数据,其实现是在MR中,使用HiveHBaseTableInputFormat完成对HBase表的切分,获取RecordReader原创 2023-01-27 11:14:12 · 1624 阅读 · 2 评论 -
HBase常用命令(超全超详细)
本节我们将向您展示如何使用 hbase shell CLI 在 HBase 中创建表、在表中插入行、对表执行放置和扫描操作、启用或禁用表以及启动和停止 HBase。主要讲述了HBase的CRUD等基本DDL和DML操作。HBase Shell 中的删除键没用,要用【Ctrl+Backspace】,每个命令之后不需要分号(;)结束。原创 2023-01-25 23:29:26 · 10521 阅读 · 0 评论 -
HBase原理和设计
HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲,HBase不折不扣是一个数据库,与我们熟悉的Oracle、MySQL、MSSQL等一样,对外提供数据的存储和读取服务。而从应用的角度来说,HBase与一般的数据库又有所区别,HBase本身的存取接口相当简单,不支持复杂的数据存取,更不支持SQL等结构化的查询语言;原创 2023-01-25 23:19:44 · 983 阅读 · 0 评论