mysql pheonix hbase,Phoenix映射Hbase 以及phoenix 的常用操作

最新推荐文章于 2022-09-05 15:51:44 发布
最新推荐文章于 2022-09-05 15:51:44 发布
阅读量272 收藏
点赞数
文章标签： mysql pheonix hbase

1.Phoenix 简介

官网

在这里插入代码片

官网： http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html

源码： https://github.com/phoenixframework/phoenix

2. 特点：

优点：

1. 编译SQL查询为原生HBase的scan语句

2. 检测scan语句最佳的开始和结束的key(确定扫描 Rowkey 的最佳开始和结束位置)

3. 精心编排你的scan语句让他们并行执行

4. 让计算去接近数据

5. 推送你的WHERE子句的谓词到服务端过滤器处理

6. 执行聚合查询通过服务端钩子(称为协同处理器)

7. 完美支持 HBase 二级索引创建

8. DML命令以及通过DDL命令创建和操作表和版本化增量更改。

9. 容易集成：如Spark，Hive，Pig，Flume和Map Reduce

缺点：

缺点：

1.不支持事务处理

2.不支持复杂的条件

3.架构

5486c9ae3a92

在这里插入图片描述

4.安装省略， 因为ambari 中已经自动部署了Phoenix

5486c9ae3a92

在这里插入图片描述

5. 启动命令：

/usr/hdp/current/phoenix-client/bin/sqlline.py master01.pxx.com:2181/hbase-unsecure

6.Phoenix 的常用命令

- 可以使用` !table `查看表信息

- 使用 !describe tablename 可以查看表字段信息

- 使用 !history可以查看执行的历史SQL

- 使用 !dbinfo 可以查看Phoenix所有的属性配置

- 使用 !help 可以查看Phoenix所有的属性配置

- 使用!indexes tablename 列出指定表名的所有索引

比如：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> !table

+------------+---------------+------------------+---------------+----------+------------+----------------------------+-----------------+--------------+-----------------+---------------+---------------+---+

| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE | IMMUTABLE_ROWS | SALT_BUCKETS | MULTI_TENANT | V |

+------------+---------------+------------------+---------------+----------+------------+----------------------------+-----------------+--------------+-----------------+---------------+---------------+---+

| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | | false | null | false | |

| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | | false | null | false | |

| | SYSTEM | LOG | SYSTEM TABLE | | | | | | true | 32 | false | |

| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | | false | null | false | |

| | SYSTEM | STATS | SYSTEM TABLE | | | | | | false | null | false | |

| | | US_POPULATION | TABLE | | | | | | false | null | false | |

| | TEST_PHOENIX | STUDENTS | TABLE | | | | | | false | null | false | |

| | wudl | wutable | TABLE | | | | | | false | null | false | |

+------------+---------------+------------------+---------------+----------+------------+----------------------------+-----------------+--------------+-----------------+---------------+---------------+---+

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u>

创建表语句

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> CREATE TABLE IF NOT EXISTS wudl_table (

. . . . . . . . . . . . . . . . . . . . . . .> id bigint primary key,

. . . . . . . . . . . . . . . . . . . . . . .> name VARCHAR ,

. . . . . . . . . . . . . . . . . . . . . . .> address varchar

. . . . . . . . . . . . . . . . . . . . . . .> );

No rows affected (1.38 seconds)

插入数据命令：

upsert into wudl_table values(0001,'flink','深圳');

upsert into wudl_table values(0002,'spark','上海');

查询数据命令：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> select * from wudl_table;

+-----+--------+----------+

| ID | NAME | ADDRESS |

+-----+--------+----------+

| 1 | flink | 深圳 |

| 2 | spark | 上海 |

+-----+--------+----------+

2 rows selected (0.035 seconds)

删除表命令：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> DELETE FROM wudl_table WHERE address = '上海';

1 row affected (0.026 seconds)

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> select * from wudl_table;

+-----+--------+----------+

| ID | NAME | ADDRESS |

+-----+--------+----------+

| 1 | flink | 深圳 |

+-----+--------+----------+

1 row selected (0.027 seconds)

删除表

DELETE FROM wudl_table;

更新表数据

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> UPSERT INTO wudl_table (id,name,address) VALUES(0001,'flink','深圳上海');

1 row affected (0.023 seconds)

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> select * from wudl_table;

+-----+--------+----------+

| ID | NAME | ADDRESS |

+-----+--------+----------+

| 1 | flink | 深圳上海 |

+-----+--------+----------+

1 row selected (0.045 seconds)

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u>

查看表的描述：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> !describe wudl_table;

+------------+--------------+-------------+--------------+------------+------------+--------------+----------------+-----------------+-----------------+-----------+----------+-------------+---------------+

| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | COLUMN_NAME | DATA_TYPE | TYPE_NAME | COLUMN_SIZE | BUFFER_LENGTH | DECIMAL_DIGITS | NUM_PREC_RADIX | NULLABLE | REMARKS | COLUMN_DEF | SQL_DATA_TYPE |

+------------+--------------+-------------+--------------+------------+------------+--------------+----------------+-----------------+-----------------+-----------+----------+-------------+---------------+

| | | WUDL_TABLE | ID | -5 | BIGINT | null | null | null | null | 0 | | | null |

| | | WUDL_TABLE | NAME | 12 | VARCHAR | null | null | null | null | 1 | | | null |

| | | WUDL_TABLE | ADDRESS | 12 | VARCHAR | null | null | null | null | 1 | | | null |

+------------+--------------+-------------+--------------+------------+------------+--------------+----------------+-----------------+-----------------+-----------+----------+-------------+---------------+

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u>

查看历史命令：

jdbc:phoenix:master01.pxx.com:2181/hbase-u> !history

179. 177: CREATE TABLE IF NOT EXISTS wudl_table (

180. 178: id bigint primary key,

181. 179: name VARCHAR ,

182. 180: address varchar

183. 181: );

184. 182: upsert into wudl_table values(0001,'flink','深圳');

185. 183: upsert into wudl_table values(0002,'spark','上海');

186. 184: select * from wudl_table;

187. 185: DELETE FROM wudl_table WHERE name = '上海';

188. 186: select * from wudl_table;

189. 187: DELETE FROM wudl_table WHERE NAME = '上海';

190. 188: select * from wudl_table;

191. 189: DELETE FROM wudl_table WHERE address = '上海';

192. 190: select * from wudl_table;

193. 191: !describe wudl_table;

194. 192: !history

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u>

!dbinfo 可以查看Phoenix所有的属性配置：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> !dbinfo

allProceduresAreCallable false

allTablesAreSelectable true

dataDefinitionCausesTransactionCommit false

dataDefinitionIgnoredInTransactions false

doesMaxRowSizeIncludeBlobs false

getCatalogSeparator .

getCatalogTerm Tenant

getDatabaseProductName Phoenix

getDatabaseProductVersion 5.0

查看表的索引：

!indexes wudl_table;

更多的命令：

+------------+--------------+-------------+-------------+------------------+-------------+-------+-------------------+--------------+--------------+--------------+--------+-------------------+------------+

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> !help

!all Execute the specified SQL against all the current

connections

!autocommit Set autocommit mode on or off

!batch Start or execute a batch of statements

!brief Set verbose mode off

!call Execute a callable statement

!close Close the current connection to the database

!closeall Close all current open connections

!columns List all the columns for the specified table

!commit Commit the current transaction (if autocommit is off)

!connect Open a new connection to the database.

!dbinfo Give metadata information about the database

!describe Describe a table

!dropall Drop all tables in the current database

!exportedkeys List all the exported keys for the specified table

!go Select the current connection

!help Print a summary of command usage

!history Display the command history

!importedkeys List all the imported keys for the specified table

!indexes List all the indexes for the specified table

!isolation Set the transaction isolation for this connection

!list List the current connections

...............................

7.重点---- Hbase 映射到phoenx ----

7.1 需要注意的点：

1. sql语句需要分号“；”结束。

2. 带!号开始的命令可以不使用分号结束

3. 表名小写的phoenix会自动转大写，小写可以使用"table_name"即双引号引起来即可是小写

4. 通过Phoenix建的表都会自动转成大写，如果需要使用小写的表，请使用`create table "tablename"。

7.2 需要配置映射文件

这里一定要注意：如果设置为true，创建的带有schema的表将映射到一个namespace，这个需要客户

端和服务端同时设置。一旦设置为true，就不能回滚了。旧的客户端将无法再正常工作。所以建议大家

都查看官方文档，确定后再进行设置

phoenix.schema.isNamespaceMappingEnabled

true

phoenix.schema.mapSystemTablesToNamespace

true

7.2.1如果是ambari 需要在添加 这两个属性

5486c9ae3a92

在这里插入图片描述

7.2.2 启动如果出现错误：

如果报以下错误提示

Traceback (most recent call last):

File "./sqlline.py", line 27, in

import argparse

ImportError: No module named argparse

解决办法：

在安装phoenix的服务器上安装该模块。

yum -y install python-argparse

7.3 视图的映射：

默认情况下, 直接在 HBase 中创建的表通过 Phoenix 是查不到的.

7.3.1hbase 创建命名空间类似于mysql 的数据库

hbase(main):002:0> create_namespace 'wudl002'

Took 0.6196 seconds

hbase(main):003:0> create 'wudl002:wudl002',{NAME=>'cf',BLOCKCACHE=>true,BLOOMFILTER=>'ROW', BLOCKSIZE => '65536'}

Created table wudl002:wudl002

Took 2.6594 seconds

=> Hbase::Table - wudl002:wudl002

7.3.2插入数据：

hbase(main):004:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:id','17560'

Took 1.0791 seconds

hbase(main):005:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:creator','15088888888'

Took 0.0158 seconds

hbase(main):006:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:creator_id','10201000064'

Took 0.0097 seconds

hbase(main):007:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:create_time','2021-01-04 10:45:58'

Took 0.0099 seconds

hbase(main):008:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:updater','15088888888'

Took 0.0650 seconds

hbase(main):009:0> put 'wudl002:wudl002','1DE5555520201231155811','cf:updater_id','10201000064'

Took 0.0698 seconds

7.3.3查询数据

hbase(main):010:0> scan 'wudl002:wudl002'

ROW COLUMN+CELL

1DE5555520201231155811 column=cf:create_time, timestamp=1614909429189, value=2021-01-04 10:45:58

1DE5555520201231155811 column=cf:creator, timestamp=1614909429093, value=15088888888

1DE5555520201231155811 column=cf:creator_id, timestamp=1614909429147, value=10201000064

1DE5555520201231155811 column=cf:id, timestamp=1614909428803, value=17560

1DE5555520201231155811 column=cf:updater, timestamp=1614909429327, value=15088888888

1DE5555520201231155811 column=cf:updater_id, timestamp=1614909430434, value=10201000064

1 row(s)

Took 0.2956 seconds

7.4 在phoenix

7.4.1创建命名空间：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> CREATE SCHEMA IF NOT EXISTS "wudl002";

No rows affected (0.19 seconds)

7.4.2 创建表：

特别注意 创建表 是类型最好用verchar 类型 还有结尾要用column_encoded_bytes = 0; 不然映射不到

CREATE SCHEMA IF NOT EXISTS "wudl002";

CREATE TABLE "wudl002"."wudl002" (

"ROW" VARCHAR PRIMARY KEY,

"cf"."id" VARCHAR,

"cf"."creator" VARCHAR,

"cf"."creator_id" VARCHAR,

"cf"."create_time" VARCHAR,

"cf"."updater" VARCHAR,

"cf"."updater_id" VARCHAR

) column_encoded_bytes = 0;

7.4.3查看结果：

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u> select * from "wudl002"."wudl002";

+-------------------------+--------+--------------+--------------+----------------------+--------------+--------------+

| ROW | id | creator | creator_id | create_time | updater | updater_id |

+-------------------------+--------+--------------+--------------+----------------------+--------------+--------------+

| 1DE5555520201231155811 | 17560 | 15088888888 | 10201000064 | 2021-01-04 10:45:58 | 15088888888 | 10201000064 |

+-------------------------+--------+--------------+--------------+----------------------+--------------+--------------+

1 row selected (0.367 seconds)

0: jdbc:phoenix:master01.pxx.com:2181/hbase-u>

完成****

光露
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Phoenix连接hbase的sql操作
Candriy的博客
08-31 1808
phoenix，直译为凤凰，构建在Hbase之上，使用标准的SQL操作Hbase，可以做联机事务处理，拥有低延迟的特性。 phoenix会把SQL编译成一系列的Hbase的scan操作，然后把scan结果生成标准的JDBC结果集， 其底层由于使用了Hbase的API，协处理器，过滤器，处理千万级行的数据也只用毫秒或秒级就搞定。 支持有：SELECT, FROM, WHERE, GROUP B...
Hive小项目之mysql、hbase、hive之间的表迁移、映射和查询
小小鱼
12-01 1171
本文任务：创建关系型数据库，导入表。将多表结合起来，导入到hbase，然后通过hive映射hbase的数据进行查询。 目录一、MySql表关联概念二、建表三、多表结合四、数据迁移—mysql->hbase五、建立hive映射六、查询 一、MySql表关联概念 关系型数据库的搭建，需要遵循三大范式，而三大范式反过来逼着我们不可避免的要将多个表关联起来。在表关联这一块，如果稍有差错，可能半个小时就完成的工作会因为不断的删表建表搞两三个小时。先说几个概念， 1、外键：如果一张表中有一个非主键的字段指向了另一
将mysql数据导入到hbase中_将MySQL中大量数据导入到Hbase有什么好的方法？
weixin_34237703的博客
01-18 872
将Mysql迁移到Hbase主要有三种方法：1、Put APIPut API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。2、MapReduce Job推荐使用sqoop，它的底层实现是mapreduce，数据并行导入的，这样无须自己开发代码，过滤条件通过query参数可以实现。Sq...
【HBase-Mysql】Mysql数据迁移至HBase
weixin_53543905的博客
04-28 1446
可以通过sqoop直接将数据导入到HDFS中，并指定分隔符为\t，然后再利用HBase中的importtsv进行导入数据到HBase。使用bulkload方式，先在指定目录中生成HFile文件，然后将HFile文件移动到HBase相关目录下。下面的脚本中，有使用put的方式进行导数据到hbase中的方式，还有bulkload的方式，注意区分。，那么可能是因为MySQL的数据同步到Hive的时候，Hive的分割符号不是。最后用hbase shell查看hbase中的表，发现数据成功导入，搞定。
mysql实时同步到phoenix_Phoneix（四）hbase导入数据同时与phoenix实现映射同步
weixin_30082211的博客
02-18 211
一、说明先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。1、数据准备(10W条，样例如下)，文件test.txt0,20190520164020,171.15.136.201,ie1,20190520164020,139.203.75.112,chorm2,20190520164020,121.77.62.91,chorm3,2019052016402...
springbooot2.x-phoenix-hbase.zip
05-14
真正的springboot2.x+phoenix+hbase+mybatis的多数据源整合，支持原生版phoenix、阿里云版phoenix、AWS版phoenix，真香！
Phoenix_WinPhlash_BIOS刷新备份工具
08-19
"Phoenix_WinPhlash"是由Phoenix Technologies公司开发的一款专业级BIOS刷新和备份软件，适用于Windows XP操作系统，遗憾的是它并不兼容Windows 7及更高版本。该工具的主要功能包括： 1. **BIOS更新**：Phoenix_...
phoenix_generator:为 Phoenix 应用程序生成样板
06-13
＃＃设置启动 Phoenix 项目： : 将 Phoenix Generator 以及可选的和到项目的依赖项中 defp deps do [{ :postgrex , " >= 0.0.0 " }, { :ecto , github: " elixir-lang/ecto " }, { :phoenix_generator , github: " ...
wk_job:使用React（beautiful-dnd）和pheonix通道的Phoenix框架示例
04-04
雨伞要启动Phoenix服务器： 在root目录中使用mix deps.get安装依赖项使用apps/wk_job目录中的mix ecto.setup创建和迁移数据库使用yarn install在apps/wk_job_web/assets目录中安装Node.js依赖项用root目录内的mix ...
spandex_phoenix：Phoenix Instrumentation示踪剂
02-09
升级说明：如果要更新SpandexPhoenix代码以使其与以前的Pheonix版本一起使用，必须首先删除Usage: Plug & Phx < 1.5详细说明的所有代码，然后按照以下遥测安装说明进行操作。 SpandexPhoenix支持使用Phoenix ...
mysql数据导入到hbase中
08-03
利用sqoop把mysql数据导入到hbase中，建立phoenix与hbase的映射，用phoenix jdbc操作hbase！达到sql操作nosql！
phoenix使用说明
爱编程
09-19 470
1.在已存在的hbase表上创建phoenix表 创建hbase表： create "test_phoenix",{NAME=&gt;"cf"} 数据示例：rowkey由三部分组成，由"\0"分割。 create view" test_phoenix"( "time" VARCHAR, "device_number" VARCHAR, "delay&qu
Hbase入门到实战-连载六(Phoenix)
S1124654的博客
07-03 851
Hbase入门到实战-连载六(Phoenix)
关于使用flask db 提示no modules named 'db'解决方案
shuidefu的博客
10-29 2015
原文提示安装sudo pip3 install flask-migrate 实际安装后仍然报错 实际解决方案： sudo pip install flask-migrate（不是pip3） 如果你尝试多种其他方案仍有以上报错，请尝试此方案。 ...
phoenix php,利用phoenix进行Hbase数据访问
weixin_30345873的博客
03-13 377
一、背景近期一个用户画像的项目，数据量庞大，用MySQL进行存取不太现实，所以采用Hbase集群的方案来实施。由于业务层使用的是PHP，所以研发同学首先想到的是PHP-Thrift来访问Hbase，编码实验了几天，效果不是太理想，尤其是编码成本较大，各种scan、filter之类的语法，不利于团队进行快速开发；当然，最崩溃的还是想利用count进行数据总量计算，是Thrift里，这个太难搞。所以再...
通过Phoenix存取Hbase
安小飞的博客
07-26 722
通过Phoenix存取Hbase 目前官网正文中给出了通过Phoenix存取Hbase的方法，这里介绍的是pyspark版本的存取方法，对于从hbase中取数据，目前官网的方法没有什么问题。详细代码可见下方： try: TableName = options.HbaseTable df = spark.read \ .format("o...
Flink 1.9.1:JDBCUpsertTableSInk 写数据到Phoenix
高矮
06-12 2821
文章目录目的实现测试 目的 Flink插入跟新数据到Phoenix 实现 目前使用的JDBCUpsertTableSink支持如下集中RDB: Derby Mysql Postgresql 所以需要定义一下Apache Phoenix的写入形式： https://github.com/apache/flink/blob/release-1.9.1/flink-connectors/flink-jdbc/src/main/java/org/apache/flink/api/java/io/jdbc/dia
phoenix API建表、通过filnkSQL将kafka数据写入phoenix&hbase
最新发布
weixin_45408791的博客
09-05 1095
phoenix建表，写入数据
DataGrip和dbeaver成功连接Phoenix及避坑指南（pheonix5.0-hbase2.0）
小何尚未秃头的博客
08-01 5798
最近在Phoenix中批量建表，结果发现所有的表都建错了，想着直接删库，重新建库，然后使用以下命令，提示SCHEMA不为空，不能够直接删除，然而几十张表，一张一张删除又不太现实，所以想着能不能借助一些数据库管理工具来简化操作，首先想到的就是最常用的两个工具dbeaver和DataGrip，于是开始了花费半天的探索之路…哈哈，以上就是dbeaver和datagrap连接pheonix的全部过程，虽然踩了很多的坑，但最后成功解决，如果有疑问，欢迎留言交流。...
CMT107HR IDE控制器及硬盘载板用户手册
此外，手册还提到了一些相关的技术品牌和标准，如Phoenix PICO和Pheonix PICO BIOS是Phoenix Technologies Ltd的商标，这些可能是CMT107所使用的BIOS解决方案。PS/2、PC/XT、PC/AT和IBM商标则暗示了该模块板与标准的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值