java 批量 phoenix_Apache Phoenix答疑(一)

我想开始使用Phoenix，如何编写Phoenix “Hello World”？

Phoenix的JDBC URL语法格式？

如何批量加载数据至Phoenix?

如何映射Phoenix表至已有的Hbase表？

有哪些点关于Phoenix的优化的？

如何创建二级索引在表中？

为什么我的二级索引没被使用到？

Phoenix速度多快？为什么这么快？

我如何更安全的连接Hbase集群？

我如何连接Hbase跑在Hadoop-2.x上？

Phoenix可以像Hbase带有时间戳灵活的操作表吗？

我的查询为什么没有进入RANGE SCAN?

我应该创建Phoenix JDBC连接池吗？

为什么Phoenix在执行upsert时添加空键值或伪键值？

01. 我想开始使用Phoenix，如何编写Phoenix “Hello World”

首先：下载最新版Phoenix来自apache phoenix下载页面，然后拷贝phoenix-*.jar放在Hbase lib的目录中，然后重启Hbase。

1. 命令行使用

开始SQL命令行：

$ sqlline.py [zookeeper]

在SQLline连接成功后执行如下语句：

> create table test (mykey integer not null primary key, mycolumn varchar);

> upsert into test values (1,'Hello');

> upsert into test values (2,'World!');

> select * from test;

+-------+------------+

| MYKEY |  MYCOLUMN  |

+-------+------------+

| 1     | Hello      |

| 2     | World!     |

+-------+------------+

2. JAVA语法

创建test.java 文件包含如下内容：

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.PreparedStatement;

import java.sql.Statement;

public class test {

public static void main(String[] args) throws SQLException {

Statement stmt = null;

ResultSet rset = null;

Connection con = DriverManager.getConnection("jdbc:phoenix:[zookeeper]");

stmt = con.createStatement();

stmt.executeUpdate("create table test (mykey integer not null primary key, mycolumn varchar)");

stmt.executeUpdate("upsert into test values (1,'Hello')");

stmt.executeUpdate("upsert into test values (2,'World!')");

con.commit();

PreparedStatement statement = con.prepareStatement("select * from test");

rset = statement.executeQuery();

while (rset.next()) {

System.out.println(rset.getString("mycolumn"));

}

statement.close();

con.close();

}

}

在命令行中编译和执行

$ javac test.java

$ java -cp "../phoenix-[version]-client.jar:." test

Hello World!

02. Phoenix的JDBC URL语法格式？

1. Thick Driver

Phoenix Thick驱动的JDBC的URL格式如下([]内的元素可选择的)

jdbc:phoenix:[comma-separated ZooKeeper Quorum [:port [:hbase root znode [:kerberos_principal [:path to kerberos keytab] ] ] ]

最简单的例子：

jdbc:phoenix:localhost

最复杂的例子：

jdbc:phoenix:zookeeper1.domain,zookeeper2.domain,zookeeper3.domain:2181:/hbase-1:phoenix@EXAMPLE.COM:/etc/security/keytabs/phoenix.keytab

请注意，URL中的每个可选元素都需要前面所有可选元素。例如，去指定Hbase的zk节点，那么zk的端口必须是指定的。

这些信息最初包含在该页。

2. Thin Driver

Phoenix Thin驱动(与Phoenix查询服务一起使用)JDBC格式如下：

jdbc:phoenix:thin:[key=value[;key=value...]]

这里暴露了数个key供客户端使用。最经常使用的key为url和serialization。url key直接影响到需要查询的Phoenix查询服务器的地址。

最简单的URL例子：

jdbc:phoenix:thin:url=http://localhost:8765

非常复杂的URL例子：

jdbc:phoenix:thin:url=http://queryserver.domain:8765;serialization=PROTOBUF;authentication=SPENGO;principal=phoenix@EXAMPLE.COM;keytab=/etc/security/keytabs/phoenix.keytab

这里记录着所有有关于Thin 客户端JDBC URL涉及到的支持项，可以参考Apache Avatica documentation和Query Server Documentation。

3. 如何批量加载数据至Phoenix?

1. Map Reduce

查看相关例子。

2. CSV导入

CSV数据可以批量导入通过psql的通用功能。一般插入的速度在20K-50K行数据每秒。(取决于一行数据有多大)。

创建表例子：

$ psql.py [zookeeper] ../examples/web_stat.sql

插入数据例子：

$ psql.py [zookeeper] ../examples/web_stat.csv

4. 如何映射Phoenix表至已有的Hbase表？

你可以创建Phoenix 表(table)和视图(view)通过 CREATE TABLE/CREATE VIEW 在已存在的HBase表上执行DLL语句。两种情况下都不会改变Hbase的元数据。对于CREATE TABLE,我们会创建任何不存在的元数据(table,column families)。我们会增加空键在每一行，所以查询的行为符合预期(不需要所有的列都进行扫描)。

需要注意的是字节的序列化必须匹配Phoenix的字节序列化。比如varchar、char和unsigned_类型，我们使用Hbase字节方法。char类型预期只有单字节字符和无符号类型预期值大于或者等于0。对于有符号的类型(tinyint,smallint,integer 和bigint)，phoenix会翻转第一个字节，这样负值会在正值之前排序。因为Hbase排序row key按照ASCII正序排列，负值的第一位是1 而正值的第一位是0，那么负值大于正值，党我们不进行第一位翻转时。所以你存储整数时通过Hbase本地API接口和想通过Phoenix访问整数，确认你的数据类型是否是无符号类型。

我们复合row key可以将简单的值进行拼接在一起，在可变长类型上使用0字节作为分隔符。

如果你创建Hbase表如下：

create 't1', {NAME => 'f1', VERSIONS => 5}

如果你已经有了一张带有名称为't1'和列簇为'f1'的Hbase表。那么请记住，在Hbase中你不用对可能的键值和row key结构进行建模。这是你在phoenix指定的表和列簇之外的信息。所以在phoenix，你不需要像这样创建view:

CREATE VIEW "t1" ( pk VARCHAR PRIMARY KEY, "f1".val VARCHAR )

这个‘pk’列定义，你的row key是varchar类型(类似字符串)，而'f1'.val列定义你的Hbase表包含键值形式和列成员及列限定符为'f1'.val还有他们的类型为varchar。

注意，你不需要使用双引号，当你创建你的hbase表包含所有的大写名称(Phoenix会标准化字符串，将字符串转大写)。比如：

create 'T1', {NAME => 'F1', VERSIONS => 5}

你可以这样创建phoenix视图：

CREATE VIEW t1 ( pk VARCHAR PRIMARY KEY, f1.val VARCHAR )

或者如果你创建了新的hbase表，不需要借助hbase shell，直接在phoenix操作。

CREATE TABLE t1 ( pk VARCHAR PRIMARY KEY, val VARCHAR )

5. 关于Phoenix的优化有哪些点？

通过加盐(Salting)显著增加读写性能，通过预切割数据在多个regions。大多情况下加盐可以达到更好的性能效果。

例子：

CREATE TABLE TEST (HOST VARCHAR NOT NULL PRIMARY KEY, DESCRIPTION VARCHAR) SALT_BUCKETS=16

注意：理想情况下4核CPU的16个region server，可以选择salt buckets在32-64最佳性能。

预切割表 的盐是自动进行表切割的，但是，如果希望精确地控制在不添加额外字节或更改row key顺序的情况下发生表拆分，则可以预先拆分一个表。

例子：

CREATE TABLE TEST (HOST VARCHAR NOT NULL PRIMARY KEY, DESCRIPTION VARCHAR) SPLIT ON ('CS','EU','NA')

使用多个列簇

列成员包含相关数据在相关的独立文件中。如果你的查询使用指定的列，将列分到一个列簇中，可以改善读性能。

例子：

使用DLL创建表并创建两个列簇A和B。

CREATE TABLE TEST (MYKEY VARCHAR NOT NULL PRIMARY KEY, A.COL1 VARCHAR, A.COL2 VARCHAR, B.COL3 VARCHAR)

使用压缩在磁盘压缩上提升性能在大表上。

例子：

CREATE TABLE TEST (HOST VARCHAR NOT NULL PRIMARY KEY, DESCRIPTION VARCHAR) COMPRESSION='GZ'

优化集群参数可以参考 这里

优化Phoenix参数可以参考这里

6. 如何创建二级索引在表中？

始于Phoenix 2.1版本，Phoenix开始支持索引在可变和不可变的数据中。注意，Phoenix在2.0.x中仅支持不可变数据的索引。索引写性能在不可变索引表中，稍微快一些于可变数据表，不可变数据表即是数据不支持更新。

例子：

创建表

不可变表： create table test (mykey varchar primary key, col1 varchar, col2 varchar) IMMUTABLE_ROWS=true;

可变表：create table test (mykey varchar primary key, col1 varchar, col2 varchar);

创建索引在col2字段上

create index idx on test (col2);

创建索引在col1中，并覆盖col2字段内容

create index idx on test (col1) include (col2);

更新行信息在test表中，Phoenix查询优化器会选择正确的索引去使用。你可以查看explain plan如果Phoenix使用这个索引表。你还可以在Phoenix查询中给出使用特定索引的提示。

7. 为什么我的二级索引没被使用到？

除非查询中使用到的所有列都在二级索引中，否作不会使用二级索引(作为直接索引，或者覆盖索引)。构成数据表中的主键全部列都会自动包含在索引中。

DLL例子：

create table usertable (id varchar primary key, firstname varchar, lastname varchar); create index idx_name on usertable (firstname);

查询DLL：

select id, firstname, lastname from usertable where firstname = 'foo';

在lastname不是索引或者覆盖所有一部分时，索引是没有被使用到。这点可以在"explain plan"中被证实。在创建索引时固定lastname字段存在索引中一部分，或者时覆盖索引的覆盖字段。

例子：

create idx_name on usertable (firstname) include (lastname);

8.Phoenix速度有多快？为什么这么快？

Phoenix速度非常快，全表扫描100M的数据，通常情况下在20秒内完成(中等规模的集群上的小表)。如果查询包含到关键列的过滤器，则降低到毫秒级。你可以添加索引在导致性能等同于过滤键的列上，使用索引列作为键的一部分复制表。

为什么Phoenix即使做了全扫描，速度依然快：

Phoenix 将查询分块在region中，并且在查询的客户端上按照配置的线程数并行运行。

聚合操作在服务器端的协程(coprocessor)上执行。折叠所有的数据返回给客户端而非全部返回数据。

9.我如何更安全的连接Hbase集群

检阅Anil Gupta的优秀文章。

10. 我如何连接Hbase跑在Hadoop-2.x上？

Hadoop2的配置存在Phoenix的pom.xml中即可。

11. Phoenix可以像Hbase带有时间戳灵活的操作表吗？

在默认情况下，Phoenix让Hbase管理时间戳，并只让你查看最后的版本数据。但是，Phoenix也给用户提供支持任意的时间戳。要做到这一点，使用连接属性"CurrentSCN"，像这样：

Properties props = new Properties();

props.setProperty("CurrentSCN", Long.toString(ts));

Connection conn = DriverManager.connect(myUrl, props);

conn.createStatement().execute("UPSERT INTO myTable VALUES ('a')");

conn.commit();

上面的操作等同于Hbase API中的：

myTable.put(Bytes.toBytes('a'),ts);

通过指定CurrentSCN,你可以告诉Phoenix。所有东西在这次连接中按该时间戳被完成。注意的是，这也适用于对连接执行的查询。举个例子，一个查询在myTable表的数据是不会看到刚插入的数据，因为它只看到创建连接时指定CurrentSCN属性之前的数据。这样提供了一种类似于快照的功能，或者是时间点查询。

请记住，创建个新的连接不是一个很昂贵的操作。相同的底层Hbase的连接用于全部连接的相同的集群，所以或多或少实例出一些对象。

12. 我的查询为什么没有进入RANGE SCAN?

DDL: CREATE TABLE TEST (pk1 char(1) not null, pk2 char(1) not null, pk3 char(1) not null, non-pk varchar CONSTRAINT PK PRIMARY KEY(pk1, pk2, pk3));

RANGE SCAN :意味着只扫描表中一部分数据。如果使用主键约束中的一个或者多个组成主键的列会出现这种情况。没有过滤PK列的查询，例子：select * from test where pk2='x' and pk3='y';将会出现全扫描，然而在select * from test where pk1='x' and pk2='y';中却是范围扫描(range scan)。注意，你可以添加二级索引在"pk2"和"pk3"列上，会触发范围扫描(range scan)在第一次查询中。

DEGENERATE SCAN:意味着一个查询不能返回行数据。如果我们决定在编译时完成。我们甚至不需要运行扫描。

FULL SCAN:意味着所有行都被扫描到。(如果你有一个where子句，可能会应用到一个过滤器)

SKIP SCAN:将扫描一个表中的子集或者全部行。无论如何它将会根据过滤器跳过大分组的行。可以查看博客了解更多。如果主键上没有过滤器的列，那我们就不做SKIP SCAN，但是你可以强制SKIP SCAN通过使用/+ SKIP_SCAN/去命中。在一些条件下，也就是说当你的主键基数比较少时，它将会更有效超过FULL SCAN。

13. 我应该创建Phoenix JDBC连接池吗？

不，它不是必须的Phoenix jDBC连接池。

Phoenix的连接对象时不同大部分的JDBC连接，原因在于底层是Hbase的连接。Phoenix连接对象在设计时就是为了更精细便宜的代价去创建。如果Phoenix的连接被再利用，底层的HBase连接可能并不总是由前一个用户保持在健康状态。更好的方式是去创建一个新的Phoenix连接，保证避免潜在的问题。

实行Phoenix连接池可以简单的创建实例化委派，对外部而言，创建出新的Phoenix连接，实际是需要时从池中获取，对外部而言的关闭，实际是返回到池中去，可以参考Phoenix-2388。

14. 为什么Phoenix在执行upsert时添加空键值或伪键值？

空键值或者伪键值(_01列限定符)必须的，去保证列都有有效的在全部行中。

数据存储在Hbase是以键值对形式存在，意味着存储每个列值完整的行键。这还意味着，除非至少存储了一个列，否则根本不存储行键。

现在考虑到JDBC的行存在int类型的主键，和若干列可能是空(null)的。为了可以存储主键，键值必须去存储去展示这行数据的全部(现在的时间戳，考虑的时间戳版本)。你会注意到这些列是空列。这允许执行“SELECT * FROM TABLE”并接收所有行的记录，即使那些非pk列为空的记录也是如此。

即使对于某些(或所有)记录只有一个列为空，也会出现相同的问题。在Phoenix上的扫描将包括空列，以确保只包含主键的行(所有非键列都为空)将包含在扫描结果中。