CDH + phoenix+ zeppelin

最新推荐文章于 2022-08-11 15:39:52 发布
最新推荐文章于 2022-08-11 15:39:52 发布
阅读量511 收藏
点赞数
文章标签： 大数据 python shell
原文链接：https://my.oschina.net/hblt147/blog/3016196
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

  • 内容概述

1.安装及配置Phoenix

2.Phoenix的基本操作

3.使用Phoenix bulkload数据到HBase

4.使用Phoenix从HBase中导出数据到HDFS

  • 测试环境

1.CDH5.11.2

2.RedHat7.2

3.Phoenix4.7.0

  • 前置条件

1.CDH集群正常

2.HBase服务已经安装并正常运行

3.测试csv数据已准备

4.Redhat7中的httpd服务已安装并使用正常

2.在CDH集群中安装Phoenix

1.到Cloudera官网下载Phoenix的Parcel，注意选择与操作系统匹配的版本，因为本次测试使用的是Redhat7，所以选择后缀名为el7的文件。下载地址为：

http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/

具体需要下载的三个文件地址为：

http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel
http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel.sha1
http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/manifest.json

1620

2.将下载好的文件发布到httpd服务，可以用浏览器打开页面进行测试。

[ec2-user@ip-172-31-22-86 phoenix]$ pwd
/var/www/html/phoenix
[ec2-user@ip-172-31-22-86 phoenix]$ ll
total 192852
-rw-r--r-- 1 root root        41 Jun 24  2016 CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel.sha1
-rw-r--r-- 1 root root 197466534 Jun 24  2016 CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel
-rw-r--r-- 1 root root      4687 Jun 24  2016 manifest.json
[ec2-user@ip-172-31-22-86 phoenix]$

1620

1620

3.从Cloudera Manager点击“Parcel”进入Parcel管理页面

1620

1620

点击“配置”，输入Phoenix的Parcel包http地址。

1620

1620

点击“保存更改“回到Parcel管理页面，发现CM已发现Phoenix的Parcel。

1620

点击“下载”->“分配”->“激活”

1620

1620

1620

1620

1620

1620

1620

4.回到CM主页，发现HBase服务需要部署客户端配置以及重启

1620

重启HBase服务

1620

1620

1620

1620

安装完成。

3.如何在CDH集群中使用Phoenix

3.1Phoenix的基本操作

进入Phoenix的脚本命令目录

[ec2-user@ip-172-31-22-86 bin]$ cd /opt/cloudera/parcels/CLABS_PHOENIX/bin
[ec2-user@ip-172-31-22-86 bin]$ ll
total 16
-rwxr-xr-x 1 root root 672 Jun 24  2016 phoenix-performance.py
-rwxr-xr-x 1 root root 665 Jun 24  2016 phoenix-psql.py
-rwxr-xr-x 1 root root 668 Jun 24  2016 phoenix-sqlline.py
-rwxr-xr-x 1 root root 674 Jun 24  2016 phoenix-utils.py

1620

使用Phoenix登录HBase

[ec2-user@ip-172-31-22-86 bin]$ ./phoenix-sqlline.py
Zookeeper not specified. 
Usage: sqlline.py <zookeeper> <optional_sql_file> 
Example: 
 1. sqlline.py localhost:2181:/hbase 
 2. sqlline.py localhost:2181:/hbase ../examples/stock_symbol.sql

需要指定Zookeeper

[ec2-user@ip-172-31-22-86 bin]$ ./phoenix-sqlline.py ip-172-31-21-45:2181:/hbase
...
sqlline version 1.1.8
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> !tables
+------------+--------------+-------------+---------------+----------+------------+--------------------+
| TABLE_CAT  | TABLE_SCHEM  | TABLE_NAME  |  TABLE_TYPE   | REMARKS  | TYPE_NAME  | SELF_REFERENCING_C |
+------------+--------------+-------------+---------------+----------+------------+--------------------+
|            | SYSTEM       | CATALOG     | SYSTEM TABLE  |          |            |                    |
|            | SYSTEM       | FUNCTION    | SYSTEM TABLE  |          |            |                    |
|            | SYSTEM       | SEQUENCE    | SYSTEM TABLE  |          |            |                    |
|            | SYSTEM       | STATS       | SYSTEM TABLE  |          |            |                    |
|            |              | ITEM        | TABLE         |          |            |                    |
+------------+--------------+-------------+---------------+----------+------------+--------------------+
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

创建一张测试表

注意：建表必须指定主键。

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> create table hbase_test
. . . . . . . . . . . . . . . . . . . . . .> (
. . . . . . . . . . . . . . . . . . . . . .>     s1 varchar not null primary key,
. . . . . . . . . . . . . . . . . . . . . .>     s2 varchar,
. . . . . . . . . . . . . . . . . . . . . .>     s3 varchar,
. . . . . . . . . . . . . . . . . . . . . .>     s4 varchar
. . . . . . . . . . . . . . . . . . . . . .> );
No rows affected (1.504 seconds)

1620

在hbase shell中进行检查

1620

插入一行数据。注意：Phoenix中没有insert语法，用upsert代替。参考：http://phoenix.apache.org/language/index.html

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test values('1','testname','testname1','testname2');
1 row affected (0.088 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test;
+-----+-----------+------------+------------+
| S1  |    S2     |     S3     |     S4     |
+-----+-----------+------------+------------+
| 1   | testname  | testname1  | testname2  |
+-----+-----------+------------+------------+
1 row selected (0.049 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

在hbase shell中进行检查

1620

删除这行数据，delete测试

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> delete from hbase_test where s1='1';
1 row affected (0.018 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test;
+-----+-----+-----+-----+
| S1  | S2  | S3  | S4  |
+-----+-----+-----+-----+
+-----+-----+-----+-----+
No rows selected (0.045 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

在hbase shell中进行检查

1620

更新数据测试，注意Phoenix中没有update语法，用upsert代替。插入多条数据需要执行多条upsert语句，没办法将所有的数据都写到一个“values”后面。

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test values('1','testname','testname1','testname2');
1 row affected (0.017 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test values('2','testname','testname1','testname2');
1 row affected (0.007 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test values('3','testname','testname1','testname2');
1 row affected (0.008 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test;
+-----+-----------+------------+------------+
| S1  |    S2     |     S3     |     S4     |
+-----+-----------+------------+------------+
| 1   | testname  | testname1  | testname2  |
| 2   | testname  | testname1  | testname2  |
| 3   | testname  | testname1  | testname2  |
+-----+-----------+------------+------------+
3 rows selected (0.067 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test values('1','fayson','testname1','testname2');
1 row affected (0.009 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test;
+-----+-----------+------------+------------+
| S1  |    S2     |     S3     |     S4     |
+-----+-----------+------------+------------+
| 1   | fayson    | testname1  | testname2  |
| 2   | testname  | testname1  | testname2  |
| 3   | testname  | testname1  | testname2  |
+-----+-----------+------------+------------+
3 rows selected (0.037 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

在hbase shell中进行检查

1620

批量更新测试，创建另外一张表hbase_test1，表结构与hbase_test一样，并插入五条，有两条是hbase_test中没有的（主键为4，5），有一条与hbase_test中的数据不一样（主键为1），有两条是完全一样（主键为2，3）。

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> create table hbase_test1
. . . . . . . . . . . . . . . . . . . . . .> (
. . . . . . . . . . . . . . . . . . . . . .>     s1 varchar not null primary key,
. . . . . . . . . . . . . . . . . . . . . .>     s2 varchar,
. . . . . . . . . . . . . . . . . . . . . .>     s3 varchar,
. . . . . . . . . . . . . . . . . . . . . .>     s4 varchar
. . . . . . . . . . . . . . . . . . . . . .> );
No rows affected (1.268 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> 
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test1 values('1','fayson','testname1','testname2');
1 row affected (0.031 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test1 values('2','testname','testname1','testname2');
1 row affected (0.006 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test1 values('3','testname','testname1','testname2');
1 row affected (0.005 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test1 values('4','testname','testname1','testname2');
1 row affected (0.005 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test1 values('5','testname','testname1','testname2');
1 row affected (0.007 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test1;
+-----+-----------+------------+------------+
| S1  |    S2     |     S3     |     S4     |
+-----+-----------+------------+------------+
| 1   | fayson    | testname1  | testname2  |
| 2   | testname  | testname1  | testname2  |
| 3   | testname  | testname1  | testname2  |
| 4   | testname  | testname1  | testname2  |
| 5   | testname  | testname1  | testname2  |
+-----+-----------+------------+------------+
5 rows selected (0.038 seconds)

1620

批量更新，我们用hbase_test1中的数据去更新hbase_test。

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> upsert into hbase_test select * from hbase_test1;
5 rows affected (0.03 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from hbase_test;
+-----+-----------+------------+------------+
| S1  |    S2     |     S3     |     S4     |
+-----+-----------+------------+------------+
| 1   | fayson    | testname1  | testname2  |
| 2   | testname  | testname1  | testname2  |
| 3   | testname  | testname1  | testname2  |
| 4   | testname  | testname1  | testname2  |
| 5   | testname  | testname1  | testname2  |
+-----+-----------+------------+------------+
5 rows selected (0.039 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

批量更新发现对于已有的数据，如果值不一样，会覆盖，对于相同的数据会保持不变，对于没有的数据会直接作为新的数据插入。

3.2使用Phoenix bulkload数据到HBase

准备需要批量导入的测试数据，这里使用TPC_DS的item表数据。

[ec2-user@ip-172-31-22-86 ~]$ ll item.dat
-rw-r--r-- 1 root root 28855325 Oct  3 10:23 item.dat
[ec2-user@ip-172-31-22-86 ~]$ head -1 item.dat
1|AAAAAAAABAAAAAAA|1997-10-27||Powers will not get influences. Electoral ports should show low, annual chains. Now young visitors may pose now however final pages. Bitterly right children suit increasing, leading el|27.02|23.23|5003002|exportischolar #2|3|pop|5|Music|52|ableanti|N/A|3663peru009490160959|spring|Tsp|Unknown|6|ought|

1620

因为Phoenix的bulkload只能导入csv，所以我们先把该数据的分隔符修改为逗号，并且后缀名改为.csv

[ec2-user@ip-172-31-22-86 ~]$ sed -i 's/|/,/g' item.dat
[ec2-user@ip-172-31-22-86 ~]$ mv item.dat item.csv
[ec2-user@ip-172-31-22-86 ~]$ ll item.csv 
-rw-r--r-- 1 ec2-user ec2-user 28855325 Oct  3 10:26 item.csv
[ec2-user@ip-172-31-22-86 ~]$ head -1 item.csv 
1,AAAAAAAABAAAAAAA,1997-10-27,,Powers will not get influences. Electoral ports should show low, annual chains. Now young visitors may pose now however final pages. Bitterly right children suit increasing, leading el,27.02,23.23,5003002,exportischolar #2,3,pop,5,Music,52,ableanti,N/A,3663peru009490160959,spring,Tsp,Unknown,6,ought,

1620

上传该文件到HDFS

[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -mkdir /fayson
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -put item.csv /fayson
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /fayson
Found 1 items
-rw-r--r--   3 ec2-user supergroup   28855325 2017-10-03 10:28 /fayson/item.csv
[ec2-user@ip-172-31-22-86 ~]$

1620

通过Phoenix创建item表，注意为了方便阅读，只创建了4个字段

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> create table item
. . . . . . . . . . . . . . . . . . . . . .> (
. . . . . . . . . . . . . . . . . . . . . .>     i_item_sk varchar not null primary key,
. . . . . . . . . . . . . . . . . . . . . .>     i_item_id varchar,
. . . . . . . . . . . . . . . . . . . . . .>     i_rec_start_varchar varchar,
. . . . . . . . . . . . . . . . . . . . . .>     i_rec_end_date varchar
. . . . . . . . . . . . . . . . . . . . . .> );
No rows affected (1.268 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

执行bulkload命令导入数据

[ec2-user@ip-172-31-22-86 ~]$ HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hbase/hbase-protocol-1.2.0-cdh5.12.1.jar:/opt/cloudera/parcels/CDH/lib/hbase/conf hadoop jar /opt/cloudera/parcels/CLABS_PHOENIX/lib/phoenix/phoenix-4.7.0-clabs-phoenix1.3.0-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -t item -i /fayson/item.csv
17/10/03 10:32:24 INFO util.QueryUtil: Creating connection with the jdbc url: jdbc:phoenix:ip-172-31-21-45.ap-southeast-1.compute.internal,ip-172-31-22-86.ap-southeast-1.compute.internal,ip-172-31-26-102.ap-southeast-1.compute.internal:2181:/hbase;
...
17/10/03 10:32:24 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=ip-172-31-21-45.ap-southeast-1.compute.internal:2181,ip-172-31-22-86.ap-southeast-1.compute.internal:2181,ip-172-31-26-102.ap-southeast-1.compute.internal:2181 sessionTimeout=60000 watcher=hconnection-0x7a9c0c6b0x0, quorum=ip-172-31-21-45.ap-southeast-1.compute.internal:2181,ip-172-31-22-86.ap-southeast-1.compute.internal:2181,ip-172-31-26-102.ap-southeast-1.compute.internal:2181, baseZNode=/hbase
17/10/03 10:32:24 INFO zookeeper.ClientCnxn: Opening socket connection to server ip-172-31-21-45.ap-southeast-1.compute.internal/172.31.21.45:2181. Will not attempt to authenticate using SASL (unknown error)
...
17/10/03 10:32:30 INFO mapreduce.Job: Running job: job_1507035313248_0001
17/10/03 10:32:38 INFO mapreduce.Job: Job job_1507035313248_0001 running in uber mode : false
17/10/03 10:32:38 INFO mapreduce.Job:  map 0% reduce 0%
17/10/03 10:32:52 INFO mapreduce.Job:  map 100% reduce 0%
17/10/03 10:33:01 INFO mapreduce.Job:  map 100% reduce 100%
17/10/03 10:33:01 INFO mapreduce.Job: Job job_1507035313248_0001 completed successfully
17/10/03 10:33:01 INFO mapreduce.Job: Counters: 50
...
17/10/03 10:33:01 INFO mapreduce.AbstractBulkLoadTool: Loading HFiles from /tmp/fef0045b-8a31-4d95-985a-bee08edf2cf9
...

1620

1620

1620

在Phoenix中查询该表

0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase> select * from item limit 10;
+------------+-------------------+----------------------+-----------------+
| I_ITEM_SK  |     I_ITEM_ID     | I_REC_START_VARCHAR  | I_REC_END_DATE  |
+------------+-------------------+----------------------+-----------------+
| 1          | AAAAAAAABAAAAAAA  | 1997-10-27           |                 |
| 10         | AAAAAAAAKAAAAAAA  | 1997-10-27           | 1999-10-27      |
| 100        | AAAAAAAAEGAAAAAA  | 1997-10-27           | 1999-10-27      |
| 1000       | AAAAAAAAIODAAAAA  | 1997-10-27           | 1999-10-27      |
| 10000      | AAAAAAAAABHCAAAA  | 1997-10-27           | 1999-10-27      |
| 100000     | AAAAAAAAAKGIBAAA  | 1997-10-27           | 1999-10-27      |
| 100001     | AAAAAAAAAKGIBAAA  | 1999-10-28           | 2001-10-26      |
| 100002     | AAAAAAAAAKGIBAAA  | 2001-10-27           |                 |
| 100003     | AAAAAAAADKGIBAAA  | 1997-10-27           |                 |
| 100004     | AAAAAAAAEKGIBAAA  | 1997-10-27           | 2000-10-26      |
+------------+-------------------+----------------------+-----------------+
10 rows selected (0.054 seconds)
0: jdbc:phoenix:ip-172-31-21-45:2181:/hbase>

1620

在hbase shell中查询该表

hbase(main):002:0> scan 'ITEM', LIMIT => 10
ROW                         COLUMN+CELL                                                                 
 1                          column=0:I_ITEM_ID, timestamp=1507041176470, value=AAAAAAAABAAAAAAA         
 1                          column=0:I_REC_START_VARCHAR, timestamp=1507041176470, value=1997-10-27     
 1                          column=0:_0, timestamp=1507041176470, value=                                
 10                         column=0:I_ITEM_ID, timestamp=1507041176470, value=AAAAAAAAKAAAAAAA         
 10                         column=0:I_REC_END_DATE, timestamp=1507041176470, value=1999-10-27          
 10                         column=0:I_REC_START_VARCHAR, timestamp=1507041176470, value=1997-10-27     
 10                         column=0:_0, timestamp=1507041176470, value=                                
...
 100004                     column=0:I_REC_START_VARCHAR, timestamp=1507041176470, value=1997-10-27     
 100004                     column=0:_0, timestamp=1507041176470, value=                                
10 row(s) in 0.2360 seconds

1620

入库条数检查

1620

1620

条数相等，全部入库成功。

3.3使用Phoenix从HBase中导出数据到HDFS

Phoenix还提供了使用MapReduce导出数据到HDFS的功能，以pig的脚本执行。首先准备pig脚本。

[ec2-user@ip-172-31-22-86 ~]$ cat export.pig 
REGISTER /opt/cloudera/parcels/CLABS_PHOENIX/lib/phoenix/phoenix-4.7.0-clabs-phoenix1.3.0-client.jar;
rows = load 'hbase://query/SELECT * FROM ITEM' USING org.apache.phoenix.pig.PhoenixHBaseLoader('ip-172-31-21-45:2181');
STORE rows INTO 'fayson1' USING PigStorage(',');
[ec2-user@ip-172-31-22-86 ~]$

1620

执行该脚本

[ec2-user@ip-172-31-22-86 ~]$ pig -x mapreduce export.pig 
...
Counters:
Total records written : 102000
Total bytes written : 4068465
Spillable Memory Manager spill count : 0
Total bags proactively spilled: 0
Total records proactively spilled: 0

Job DAG:
job_1507035313248_0002

2017-10-03 10:45:38,905 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Success!

1620

1620

导出成功后检查HDFS中的数据

[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /user/ec2-user/fayson1
Found 2 items
-rw-r--r--   3 ec2-user supergroup          0 2017-10-03 10:45 /user/ec2-user/fayson1/_SUCCESS
-rw-r--r--   3 ec2-user supergroup    4068465 2017-10-03 10:45 /user/ec2-user/fayson1/part-m-00000
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -cat /user/ec2-user/fayson1/part-m-00000 | head -2
1,AAAAAAAABAAAAAAA,1997-10-27,
10,AAAAAAAAKAAAAAAA,1997-10-27,1999-10-27
cat: Unable to write to output stream.
[ec2-user@ip-172-31-22-86 ~]$

1620

检查条数为10200与原始数据一致，全部导出成功。

1620

4.总结

  • 使用Cloudera提供的Phoenix Parcel，可以很方便的安装Phoenix。
  • 使用Phoenix可以对HBase进行建表，删除，更新等操作，都是以大家熟悉的SQL方式操作。
  • Phoenix提供了批量导入/导出数据的方式。批量导入只支持csv格式，分隔符为逗号。
  • Phoenix中的SQL操作，可以马上同步到HBase，通过hbase shell检查都成功。
  • 目前Cloudera官方提供的Phoenix版本较旧，为4.7.0，社区最新版本为4.11.0
  • Phoenix提供的SQL语法较为简陋，没有insert/update，一律用upsert代替。
  • 使用upsert插入数据时，只能一条一条插入，没法将全部字段值写到一个“values”后面。

 

1、下载

https://github.com/chiastic-security/phoenix-for-cloudera/tree/4.8-HBase-1.2-cdh5.8

 

 

 

 

 

2、编译(编译时间较长,耐心等待)
mvn clean package -DskipTests

 

 

 

 

 

 

 

 

 

 

3、解压

　　将编译好的phoenix-4.8.0-cdh5.8.0.tar.gz解压出来

复制代码

[root@cmbigdata1 phoenix]# tar -zxvf  phoenix-4.8.0-cdh5.8.0.tar.gz
[root@cmbigdata1 phoenix]# cd phoenix-4.8.0-cdh5.8.0
[root@cmbigdata1 phoenix-4.8.0-cdh5.8.0]# ll
total 166152
drwxr-xr-x 2 root root      4096 Apr 18 16:41 bin
-rw-r--r-- 1 root root      1930 Aug  8  2016 build.txt
drwxr-xr-x 3 root root      4096 Aug  8  2016 dev
drwxr-xr-x 2 root root      4096 Aug  8  2016 docs
drwxr-xr-x 3 root root      4096 Aug  8  2016 examples
drwxr-xr-x 2 root root      4096 Apr 18 16:40 lib
-rw-r--r-- 1 root root 113247548 Apr 18 14:43 phoenix-4.8.0-cdh5.8.0-client.jar
-rw-r--r-- 1 root root   6619716 Apr 18 14:30 phoenix-4.8.0-cdh5.8.0-queryserver.jar
-rw-r--r-- 1 root root  22498517 Apr 18 14:43 phoenix-4.8.0-cdh5.8.0-server.jar
-rw-r--r-- 1 root root  27739579 Apr 18 14:29 phoenix-4.8.0-cdh5.8.0-thin-client.jar

复制代码

 

 

 

 

 

 

4、将phoenix-4.8.0-cdh5.8.0-server.jar拷贝到每一个RegionServer下
[root@cmbigdata2~]# find / -name 'phoenix-4.8.0-cdh5.8.0-server.jar'
/soft/bigdata/clouderamanager/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hbase/lib/phoenix-4.8.0-cdh5.8.0-server.jar

 　　cmbigdata2和cmbigdata3和cmbigdata4一样。

 

 

 

 

5、增加hbase-site.xml 配置
<property>
<name>hbase.table.sanity.checks</name>
<value>false</value>
</property>

 

 

 

 

 

 

 

 

 CDH修改方法:
　　在集群管理页面点击Hbase,进入Hbase管理界面

 

 

 

 

 

 

点击配置：

　　　　　　　　　　　　　　　　

 

 


选择高级：

　　　　　　　　　　　　　　　　　　

 

 


增加如下配置：

　　　　　　　　

 

 

 

 

 

 

6、重启Hbase　　
　　　　这个很简单，不多说，会玩cloudermanager的人都知道。

7、登录phoenix

　　进入phoenix-4.8.0-cdh5.8.0/bin目录执行。

 

一，Phoenix的介绍 
1，Phoenix， （“凤凰”）,它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。

2，Apache Phoenix是构建在HBase之上的关系型数据库层，作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。

二，Phoenix的下载 
1，官网上下载的Phoenix的都会在文件名上标注需要搭配的hbase版本号，注意要一致。 
2，要注意在官网上http://apache.fayea.com/phoenix/ 下载，如果自己电脑上的安装的hbase版本是cdh的话，则这两者会冲突，使用sqlline.py连接hbase时候会报类似以下错误：

出错原因：phoenix官方版本pom文件里的hbase依赖并不是使用cdh版本的。 
解决的方法： 所以，为了能够使得phoenix与cdh对应，我们需要从phoenix官网下载对应版本(4.6.0)的phoenix源码,修改pom文件依赖以及部分源码，并重新编译，得到适配于cdh5.4 hbase1.0.0 的phoenix。

三，解决的步骤 
1，下载cdh版本的Phoenix，注意它需要搭配的hbase版本是hbase1.2版本。 
https://github.com/chiastic-security/phoenix-for-cloudera/tree/4.8-HBase-1.2-cdh5.8

2，然后把该文件夹（phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8）拷贝解压到如下路径：

D:\Software\Phoenix\phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8

3，利用maven对该文件夹（phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8）进行重新编译，具体操作如下:

(1),首先电脑 要安装maven包，安装过程网上自己百度一下，不再介绍了

(2), 然后在window终端里，进入该文件夹路径下（phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8）：

D:\Software\Phoenix\phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8>

(3)，然后输入如下命令：

D:\Software\Phoenix\phoenix-for-cloudera-4.8-HBase-1.2-cdh5.8> mvn clean package -DskipTests -Dcdh.flume.version=1.6.0

(4), 最后如果显示：

则说明编译成功。

(5) 将编译打包好后的\Software\Phoenix\phoenix-for-cloudera-4.8-Hbase-1.2-cdh5.8\phoenix-assembly\target\phoenix-4.8.0-cdh5.8.0.tar.gz进行解压phoenix-4.8.0-cdh5.8.0，解压后的文件可以放在当前路径上 。

4，接下来把编译后的整个文件夹（phoenix-for-cloudera-4.8-Hbase-1.2-cdh5.8）上传到集群上。

5, 将phoenix-4.8.0-cdh5.8.0中的phoenix-4.8.0-cdh5.8.0-server.jar拷贝到每一个RegionServer下/opt/cloudera/parcels/CDH/lib/hbase/lib

6，最后一步重启hbase集群。

7，进入集群中phoenix文件夹下的bin子文件夹下输入如下命令来开启phoenix了：

./sqlline.py dsbbzx1,dsbbzx4,dsbbzx5:2181

出现如下结果： 


则说明Phoenix在集群上安装成功了，接下来就可以使用Phoenix了。
-------------------

Apache Phoenix

Phoenix supports thick and thin connection types:

Use the appropriate default.driver, default.url, and the dependency artifact for your connection type.

Thick client connection

phoenix_thick_setting.png

Properties

NameValue
default.driverorg.apache.phoenix.jdbc.PhoenixDriver
default.urljdbc:phoenix:localhost:2181:/hbase-unsecure
default.userphoenix_user
default.passwordphoenix_password

Dependencies

ArtifactExcludes
org.apache.phoenix:phoenix-core:4.4.0-HBase-1.0 

Maven Repository: org.apache.phoenix:phoenix-core

Thin client connection

phoenix_thin_setting.png

Properties

NameValue
default.driverorg.apache.phoenix.queryserver.client.Driver
default.urljdbc:phoenix:thin:url=http://localhost:8765;serialization=PROTOBUF
default.userphoenix_user
default.passwordphoenix_password

Dependencies

Before Adding one of the below dependencies, check the Phoenix version first.

ArtifactExcludesDescription
org.apache.phoenix:phoenix-server-client:4.7.0-HBase-1.1 For Phoenix 4.7
org.apache.phoenix:phoenix-queryserver-client:4.8.0-HBase-1.2 For Phoenix 4.8+

Maven Repository: org.apache.phoenix:phoenix-queryserver-client

详见：http://zeppelin.apache.org/docs/0.7.1/interpreter/jdbc.html#apache-phoenix

转载于:https://my.oschina.net/hblt147/blog/3016196

weixin_34013044
关注
CDH5.11安装详解
麻雀加
01-17 1862
1.1．环境搭建所需安装文件表 项目名称 包名 Liunx系统： CentOS-7-x86_64-Minimal-1511 JDK： jdk-8u131-linux-x64.tar.gz MySQL文件： compat-mysql51-5.1.73-1.el6.remi.x86_64.rpm mysql-connector-java-5.1.46-bin.jarMySQL-...
死磕Zeppelin~01 【编译安装】
留歌__36的博客
10-29 422
1 Zeppelin 介绍 基于 Web网页 进行 交互式的数据分析 的笔记本，有数据可视化功能。 支持多种语言，比如SQL,Scala等等 zeppelin —> 相当于一个paltform:可插拔式的安装各个环境、组件进行数据分析 2 zeppelin主要模块： 2.1.zeppelin-server: 项目入口，通过Jetty 【web 服务器】内嵌的服务 提供的WebSocket和R...
zeppelin0.8.0在cdh5.15.0集群的安装
qq_16094777的博客
09-07 847
前言 几年前看到zeppelin，用了一段时间；后来因为有相对于当时的业务场景更好的工具（hue）没有深入的使用zeppelin； 最近跟同事沟通了解到zeppelin的新版本有不少有趣的功能；打算安装一个，跟我们最新安装的CDH5.15集群一起使用；看看效果。 安装步骤 安装比较简单，去官网下载最新的包： http://zeppelin.apac...
cdh6.3.2集成zeppelin0.10.1及简单使用
qq_25073261的博客
08-11 994
3.在Zeppelin配置文件目录中，创建名为zeppelin-env.sh的环境文件，在其中配置Hadoop配置目录、hive的配置文件的classpath目录、Zeppelin服务器的IP地址和端口号。1.下载二进制包 https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz至目录/opt。输入设置好的用户名/密码 zeppelin/zeppelin。2.解压到/opt/zeppelin目录下。.....
CDH5.16.1集成 Phoenix
欢迎来到我的小家
08-11 515
下载链接 http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/
CDH整合zeppelin
weixin_34123613的博客
02-20 1860
2019独角兽企业重金招聘Python工程师标准>>> ...
Zeppelin：查询Phoenix
高矮
06-17 1126
集群环境：Azure HDI 1、创建Interpreter 最后保存Interpreter 2、测试连接 创建Note 查看当前已经存在的表 查看数据
大数据平台比较-CDH、HDP、CDP
热门推荐
Allenzyg的博客
08-24 4万+
说到大数据，不得不提一下Hadoop。先来谈一谈 Apache Hadoop与CDH、HDP的比较 一、Hadoop版本综述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
Zeppelin配置hbase解释器
麻雀加
10-22 1951
Zeppelin配置hbase解释器 准备环境： Centos 6.9 zeppelin-0.8.0-bin-all.tgz CDH-5.11.0-1.cdh5.11.0 1、复制配置文件到zeppelin相应的目录下 将hbase-site.xml拷入/opt/zeppelin-0.8.0-bin-all/conf目录下，不能拷贝core-site、hdfs-site ; 将hbase的依赖ja...
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3885
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
Zeppelin使用phoenix解释器
anshenwa4859的博客
10-24 322
Interpreters设置 如上图红色框，默认是jdbc:phoenix:ip:2181:/hbase会报如下错 %phoenix select * from test.Person 报错： Failed after attempts=35, exceptions: Mon Oct 24 15:12:33 CST 2016, RpcRetryingCaller...
在cdh5.16中使用Zeppelin
weixin_42570350的博客
07-25 255
最近闲来无事，决定安装个zeppelin玩玩，我是在阿里云镜像上面下载的，国内下载速度比在官网快多了 阿里镜像链接 这上面目前只有两个版本，我下载的0.8.0版本 一顿解压后开始修改配置文件，修改这三个文件，复制一份去掉template后缀 修改的内容如下 然后就可以启动了 在浏览器上打开安装的机器ip+8080端口 创建job就是 Create new note 右上方有所有的解释...
基于cdh5.4.2的Zeppelin编译安装
weixin_33743661的博客
04-12 136
2019独角兽企业重金招聘Python工程师标准>>> ...
zeppelin在CDH上的安装及使用 -- 填坑
臭臭猫
04-23 4473
zeppelin可以跟spark、flink、kylin等直接访问，将结果可视化显示。在安装zeppelin的过程中碰到各种问题，跟陈大神一起研究了好几天，终于把问题解决。我们安装zeppelin的目的主要是用spark快速的验证kylin的统计的可视化结果是否跟spark直接计算的可视化结果一致。刚开始选择下载二进制文件(zeppelin-0.7.3-bin-all.tgz)直接安装，很简单，直...
livy_zeppelin_cdh_csd_parcels项目编译安装的zeppelin重启配置丢失
wflh323的专栏
06-14 511
前面介绍过通过https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels编译安装zeppelin。zeppelin安装完，配置用户角色，新建spark任务运行，一切看似都很完美。某天要修改个配置重启zeppelin登录发现以前所有配置都丢失了，又重新配上，如此反复让人很崩溃。排查丢失原因，只有在重启后才会丢失，可能是重启命令执行了某项...
SPARK2-2.3.0.cloudera3-1.cdh5.13+zeppelin0.8+impala
u013013024的博客
01-17 723
1.以前我搭建的事0.7.3对应的事spark2.1，现在spark-2.3以后zeppelin-0.7.3不兼容，所以使用0.8不过也折腾了半天jar包不匹配 2.修改配置文件 cd  /zeppelin-0.8.0-bin-all/conf cp  zeppelin-env.sh.template zeppelin-env.sh cp zeppelin-site.xml.templa...
hbase 查询_Hive中操作Phoenix，对比Hive查询Hbase
weixin_39516956的博客
12-01 261
今天我们尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。环境CDH-6.3.1Hive-2.1.1Phoenix-5.0.0Hbase-2.1.0 hive集成phoenix仅支持hive使用mapreduce，tez引擎，不支持spark引擎;如果启用了kerberos，需要使用同时有hive和hbase权限的用户;依赖需要在hive中...
61.Phoenix在CDH中的使用
大勇若怯任卷舒
10-21 259
61.1 演示环境介绍 CDH集群、HBase服务和Redhat7中的httpd服务正常运行 csv数据已准备 CDH版本：5.11.2 RedHat版本：7.2 Phoenix版本：4.7.0 61.2 操作演示 在CDH集群中安装Phoenix Cloudera官网下载Phoenix的Parcel 注意选择与操作系统匹配的版本，因为本次测试使用的是Redhat7，所以选择后缀名为el7的文件。下载地址为： http://archive.cloudera.com/cloudera-labs/
Apache Zeppelin on CDH搭建
公子洲的博客
04-06 2435
本文基于centos6.4、CDH版本5.7.6、spark版本为1.6.0 1.环境准备 git1.7.1、maven3.3.9、JDK1.8 2.下载最新版zeepline源码 wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3.tgz tar -zxvf zeppeli...
cdh上搭建phoenix
最新发布
01-26
CDH是Cloudera提供的一套完整的大数据解决方案，而Phoenix是一种可以在Hadoop上提供SQL查询功能的开源项目。搭建Phoenix在CDH上可以让用户在Hadoop集群上使用SQL语句来查询和操作数据。下面是在CDH上搭建Phoenix的步骤： 1. 准备CDH集群：首先确保CDH集群已经成功部署和运行，包括HDFS、YARN、HBase等组件的正常运行。 2. 下载和安装Phoenix：从Apache Phoenix官网上下载对应版本的Phoenix安装包，然后将安装包上传到CDH集群的某个节点上解压。 3. 配置HBase和Phoenix：修改HBase和Phoenix的配置文件，主要是hbase-site.xml和phoenix-site.xml文件，配置HBase的zookeeper地址、HBase的根目录以及Phoenix的连接信息等。 4. 启动Phoenix服务：在CDH集群中启动Phoenix服务，可以使用Cloudera Manager或者命令行工具来启动Phoenix服务。 5. 测试Phoenix功能：在CDH集群上使用Phoenix客户端工具，连接到HBase中的表，执行SQL查询等操作，验证Phoenix功能是否正常运行。 通过以上步骤，就可以在CDH集群上成功搭建并使用Phoenix了。这样就可以在Hadoop集群上使用SQL语句来操作和查询数据，为用户提供了更加灵活和方便的数据分析和处理方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值