hbase
Smile to everyday
这个作者很懒,什么都没留下…
展开
-
hive映射hbase表数据
hive映射hbase表【说明】一般来说,hive映射表数据都是映射hdfs上的数据,直接通过location 指定映射目录,然后可以查询数据。但是hive映射hbase表数据,是直接映射hbase中的表。hbase需要被hive映射的表的建表语句create 'events_db:user_friend', 'uf'【注释】events_db: 是命名空间user_friend: 是hbase中的表名uf: 是列族hive创建表映射hbase中user_friend表开启动态分区原创 2020-09-09 20:01:53 · 868 阅读 · 0 评论 -
Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException
Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 176 actions: event_logs: 500 times,at org.apache.hadoop.hbase.client.AsyncProcessBatchErrors.makeException(AsyncProcess.java:192)atorg.apache.hadoop.hbase.client.AsyncProce原创 2020-09-01 16:41:35 · 1284 阅读 · 0 评论 -
Hbase Region的切分与合并【原理分析】
一、Region的切分Region的自动切分Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,当然他也是分布式系统追求扩展性很好的功能。当一个Region大到一定程度,会进行分裂(split),HBase可以通过Region Split达到负载均衡。自动切分的触发策略自动切分的触发策略有很多种,在1.2.6版本中应该有六种触发策略。但是我们经常用的最多三种。ConstantSizeRegionSplitPolicy:0.94版本前默认切分策略I ncreasingToUppe原创 2020-07-21 23:56:40 · 2686 阅读 · 0 评论 -
Hbase性能优化【Phoenix、Hive集成HBase】
一、Phoenix概述Phoenix简介构建在HBase上的SQL层使用标准SQL在HBase中管理数据使用JDBC来创建表,插入数据、对HBase数据进行查询Phoenix JDBC Driver容易嵌入到支持JDBC的程序中Phoenix使HBase更易用Phoenix应用场景Phoenix适合场景快速而容易地构建基于HBase的应用程序需要极大的规模、性能和并发性的SQL应用程序在转换到Hadoop时重用已有的SQL技能BI工具(对SQL支持较好)Phoenix不适合原创 2020-07-21 23:13:49 · 1479 阅读 · 0 评论 -
使用Java API操作HBase
一、创建maven工程,并添加依赖包<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2原创 2020-07-20 18:52:26 · 1037 阅读 · 0 评论 -
Hbase基础【hbase组件介绍、hbase性能优化】
一、Hbase介绍NoSQL概述:not only SQL,非关系型数据库指不遵循传统RDBMS模型的数据库数据是非关系的,且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题NoSQL和关系型数据库对比对比NoSQL关系型数据库常用数据库HBase、MongoDB、RedisOracle、DB2、MySQL存储格式文档、键值对、图结构表格式,行和列存储规范鼓励冗余规范性,避免重复存储扩展横向扩展,分布原创 2020-07-20 18:41:18 · 1189 阅读 · 0 评论 -
在linux下安装Hbase【简单易懂】
一、安装Hbase前提条件安装好hadoop,可以是单机版也可以是伪分布式版安装好zookeeper,如果是单机版可以不安装,使用hbase内置即可。二、下载hbase软件安装包链接:hbase安装包提取码:pj9z解压配置和启动hbase解压hbase将hbase安装包拖入到linux相应文件夹中。解压到想要的文件夹中tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/soft/配置Hbase文件1.进入配置文件夹cd /opt/原创 2020-07-20 14:10:53 · 1770 阅读 · 0 评论