hbase集成phoenix(1)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/qq_33187206/article/details/80824414

一、什么是Phonenix? 

Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。 
Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。 
Phoenix通过以下方式使我们可以少写代码,并且性能比我们自己写代码更好:

将SQL编译成原生的HBase scans。 
确定scan关键字的最佳开始和结束 
让scan并行执行 


二、phoenix下载

1、点击连接<apache仓库>下载


2、点击连接<官网下载>下载


三、安装phoenix

    1、解压 

        $ tar -zxf apache-phoenix-4.8.0-HBase-0.98-bin.tar.gz -C ../modules/

    2、 与hbase集成


        1)、将phoenix安装目录下的

                phoenix-4.8.0-HBase-0.98-client.jar

                phoenix-core-4.8.0-HBase-0.98.jar

                拷贝到hbase的lib目录下

        2)、将hbase/conf目录下 hbase-site.xml 文件放到phoenix的bin目录下

四、启动phoenix

首先:zookeeper 进程需要打开

  $ bin/zkServer.sh start 
   
   

其次:hadoop 的进程需要开启

 $ bin/start-dfs.sh
   
   

再次:hbase 的需要重启

 $ bin/start-hbase.sh
   
   

最后:  在Phoenix文件夹下执行,指定zk的地址作为hbase的访问入口:

bin/sqlline.py [hostname]:2181
   
   

进入Phoenix命令行,执行

!tables
   
   

注意:第一次启动可能需要1分多钟的时间,之后就会很快,主要是在hbase中做了一些初始化工作,会创建以下3张表
SYSTEM.CATALOG

SYSTEM.SEQUENCE

                SYSTEM.STATS 

使用命令 !help 可以显示phoenix用法,下面是部分



如果 出现 import argparse这个错误:

    需要安装:$ sudo yum -y install python-argparse

五、测试

    1、在show databases以及show tables是不支持的

    2、-》!tables查看有什么表,hbase里面也会有phoenix的系统表

    3、在phoenix中创建表

create table user(
id varchar primary key,
name varchar,
password varchar
);

    1)、在hbase中是区分大小写的,在phoenix中不区分大小写,但是默认都是大写,加上双引号就是小写
    2)、在hbase中desc "USER" 发现映射过来的表列簇默认是0,NAME => '0'

    3)、重新创建,指定列簇与列  

drop table user; 
   
   
create table user(
id varchar primary key,
info.name varchar,
info.password varchar
);

    4、添加数据:updata+insert结合--》upsert

upsert into user(id,name,password) values('001','admin','admin');
upsert into user(id,name,password) values('002','admin','admin');

     5、查询数据:

select * from user;	
   
   

    6、删除数据:

delete from user where id='002';
   
   
在phoenix中的client界面中进行的crud操作,与RDBMS的操作没有太大的区别
  
    7、hbase与phoenix表与表之间进行关联

          将hbase中的表映射到phoenix

create table "stu_info"(
rowkey varchar primary key,
info"."name" varchar,
"info"."age" varchar,
"info"."sex" varchar,
"degree"."xueli" varchar,
"work"."job" varchar 
);  
      缺陷 :hbase中的字段类型都是String类型,所以,phoenix中的映射表都得是 varchar类型为好

如果发现hbase表中的数据无法映射到phoenix,可在phoenix bin目录下的hbase-site.xml配置文件中添加配置项:

<property>
<name>phoenix.default.column.encoded.bytes.attrib </name>
<value>0</value>
</property>
并且在创建表的时候添加
column_encoded_bytes=0;
如:
create table "test"{
"row" varchar primary key,
"cf1"."qf1" varchar,
"cf2"."qf2" varchar
}
column_encoded_bytes=0;



六、在Java项目中集成Phoenix

在Java项目中实现Phoenix操作Hbase,maven引入Phoenix的依赖包:

<dependency>
<groupId>org.apache.phoenix</groupId>
<artifactId>phoenix-core</artifactId>
<version>4.8.0-HBase-0.98</version>
</dependency>

但是引入这个包是不够的,还需要另外引入一个依赖包

    phoenix-4.8.0-HBase-0.98-client.jar

,这个依赖包可以在Phoenix文件中找到,也可以通过下载Phoenix源码,自行编译后导入,自此就可以通过java的JDBC访问操作Hbase。 

java测试的源码如下:

public static void main(String args[]) {
Connection connection = null;
Statement statement = null;
try {
Class.forName(“org.apache.phoenix.jdbc.PhoenixDriver”);
connection = DriverManager.getConnection(“jdbc:phoenix:master:2181”,"","");
statement = connection.createStatement();
statement.execute(“upsert into yinxiang_note values (3, ‘note of huhong’)”);
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
connection.close();
statement.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值