Phoenix
关注
分享
扫一扫
文章平均质量分 58
学习，使用，维护
TracyGao01
保持专注
展开
-
Phoenix异步索引创建Error:java.lang.NoClassDefFoundError: com/lmax/disruptor/EventFactory
Hbase:1.4Phoenix:4.14Phoenix异步创建索引异常：java.lang.NoClassDefFoundError: com/lmax/disruptor/EventFactory解决：需要吧phoenix-client.jar放到hbase/lib下原创 2021-10-08 16:45:07 · 829 阅读 · 1 评论 -
HBase+Phoenix存储框架数据迁移
文章目录组件版本迁移方案迁移流程关于Phoenix的迁移组件版本HBasePhoenix迁移前1.14.7迁移后1.54.14迁移方案通过迁移HBase快照的形式进行数据迁移迁移流程创建快照hbase snapshot create -n snapshot_test -t test导出快照到HDFS的一个指定文件夹hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot原创 2020-12-16 22:00:23 · 636 阅读 · 0 评论 -
Phoenix 4.14 Error:PhoenixIOException:Task rejected
Phoenix 4.14Hbase 1.5.1文章目录异常信息修改参数配置生效异常信息org.apache.phoenix.exception.PhoenixIOException: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6b8280e6 rejected from org.apache.phoenix.job.JobManager$1@6f139fc9 [Running, pool size =.原创 2020-12-04 10:47:17 · 784 阅读 · 0 评论 -
Phoenix异步创建索引
phoenix创建索引的两种方法：1、在线，在线的方式创建索引，在数据量大的时候，会建不出来，在创建时也会影响正常的读写2、离线，离线即异步创建的方式下，以起MapReduce任务的形式生成索引表对应的hbase表表文件，以实现异步创建离线创建：1、命令行执行：CREATE INDEX INDEX_DWR_NT_ORDER_DETAIL_ORDER_NO4on DWR_NT_ORDER_DETAIL ("order_info"."ORDER_NO") ASYNC SALT_BUCKE..原创 2020-08-23 18:46:13 · 2004 阅读 · 0 评论 -
Zeppelin：查询Phoenix
集群环境：Azure HDI1、创建Interpreter最后保存Interpreter2、测试连接创建Note 查看当前已经存在的表 查看数据原创 2019-06-17 15:56:07 · 1129 阅读 · 0 评论 -
phoenix error: Unable to find cached index metadata
phoenix版本：phoenix-4.13.2-cdh5.11.2参考：https://phoenix.apache.org/tuning.html大批量upsert插入phoenix时报错：java.sql.SQLException: ERROR 2008 (INT10): Unable to find cached index metadata. ERROR 2008 (...原创 2019-01-08 16:59:12 · 1741 阅读 · 1 评论 -
Debezium:数据实时采集从Kafka到phoenix
目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集，并写入Phoenix方法：Postgresql -----> Debezium -----> Kafka ------> Sparkstreaming ------> Phoenix本文：本文主要是从Kafka到Phoe...原创 2018-09-28 21:12:09 · 1962 阅读 · 0 评论 -
phoenix upsert ERROR:MutationState size is bigger than maximum allowed number of bytes
phoenix 插入数据量大时报错：java.sql.SQLException: ERROR 730 (LIM02): MutationState size is bigger than maximum allowed number of bytesphoenix官网可设置参数列表：https://phoenix.apache.org/tuning.html报错如下：解决...原创 2018-08-17 10:57:46 · 4010 阅读 · 0 评论 -
Flink写入Phoenix报错:Schema with given name already exists schemaName=SYSTEM
Phoenix:5.0Flink:1.9Phoenix设置：<property> <name>phoenix.schema.isNamespaceMappingEnabled</name> <value>true</value></property>Flink 通过jdbc sink...原创 2019-12-31 17:11:25 · 1793 阅读 · 0 评论 -
Apache Phoenix 在源码里修改默认参数
Phoenix:5.0原因：用flink jdbc sink写phoenix时，由于phoenix开了namespace，flink写入时报错：Caused by: java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties.. Cannot initiate connecti...原创 2019-12-31 14:39:25 · 491 阅读 · 0 评论 -
Phoenix 的 "thick Client" 和 "thin Client"
Phoenix的客户端有两种，"thick Client" 和 "thin Client":thick Client:Phoenix JDBC连接，已引入driver jar的形式连接phoenixthin Client:Phoenix Query Server性能方面：thick client性能方面要优于thin Client，毕竟thin Client要多走一层服务，而thi...原创 2019-06-30 15:58:43 · 2283 阅读 · 0 评论 -
Phoenix：python phoenixDB 调整支持https，以及load balance配置
本机内网IP：10.2.10.10本机8764，转跳另外两台queryServer的87651、nginx配置：upstream phoenixServer {server 10.2.10.14:8765 backup;server 10.2.10.13:8765;}server{listen 8764;ssl on;ssl_certificate /v...原创 2019-04-28 19:45:05 · 761 阅读 · 0 评论 -
phoenix 建表无法映射hbase已有字段的问题解决（开启namespace后出现的问题）
phoenix版本：4.13.2-cdh5.11.2遇到问题：当开启phoenix namespace功能之后，在phoenix中映射已有hbase的数据时，出现phoenix建表时不能匹配hbase表已有字段的问题：如图：hbase的字段NT_SALE_ORDER_ID没有被映射过来解决，这里有两种解决办法：1、在建表时添加参数“COLUMN_ENCODED_BYTES ...原创 2018-10-12 15:23:56 · 1404 阅读 · 2 评论 -
phoenix 建索引加盐方法及优点
1、加盐phoenix建表及建索引都强烈建议要加盐，由于我们目前使用phoenix不会直接在phoenix里见数据表，所以建表时不需要加盐，但是建索引时建议加盐2、怎么加盐CREATE INDEX INX_M_RETAIL_BRAND_ID_SHOP_ID_MODIFIEDDATE ON M_RETAIL ("ID" ASC) INCLUDE ("info"."BRAND_ID",...原创 2018-10-09 18:05:59 · 3138 阅读 · 0 评论 -
Apache Phoenix索引失效问题
1、查看索引状态select TABLE_NAME,DATA_TABLE_NAME,INDEX_TYPE,INDEX_STATE,INDEX_DISABLE_TIMESTAMP from system.catalog where INDEX_TYPE is not null;2、INDEX_STATEa:正常b:重建x:失效失效的重建需要rebuild 3、出现...原创 2018-09-29 11:26:47 · 3361 阅读 · 0 评论 -
apache phoenix如何关掉namespace功能
前言：apache phoenix开启namespace功能跟简单，但是开启了怎么关闭呢？官网：设置phoenix.schema.isNamespaceMappingEnabled参数生效后，不能回滚，但是我必须得改回去呀，改不回去影响业务呀，于是有了下边的方法 先来张官网的图：坑吧，一旦参数生效，不能回滚 怎么回滚，就是关掉这个namespace功能：1、把之前在hba...原创 2018-09-10 20:58:12 · 1518 阅读 · 0 评论 -
HUE 集成 Apache Phoenix
写在前边：目的：从Hue Web UI 直接能够访问Apache Phoenix的数据适用：所有可以通过jdbc连接的数据库都可以采用以下这个流程，调整一下jdbc串及jar包即可 配置流程：1、添加notebook数据源非CDH版本：直接修改hue.ini配置文件，添加如下phoenix jdbc配置：[notebook] [[interpreters]] ...原创 2018-08-01 18:23:47 · 3068 阅读 · 5 评论 -
配置Apache Phoenix基于nginx的负载均衡，HA
配置Apache Phoenix QueryServer基于nginx的负载均衡，HA，nginx配置如下：upstream phoenixServer {ip_hash;server 172.18.10.35:8765 max_fails=5 fail_timeout=60s;server 172.18.10.36:8765 max_fails=5 fail_timeout=...原创 2018-04-10 11:23:42 · 1517 阅读 · 2 评论 -
解决Hbase数据更新Phoenix对应索引表不更新问题
问题描述：用户访问的数据接口直接走Phoenix，Phoenix的表是映射hbase产生，Phoenix的表会建很多索引，这时候问题就出现了，正常通过接口直接写数据进Phoenix表，相应的索引表也是会更新的,但是直接写数据到底层hbase表，这时候对应的索引表是不会更新，从而影响正常的用户访问直接通过API把数据写入Phoeinx是正常的，如下图： 直接写数据到H...原创 2018-03-15 23:21:06 · 9168 阅读 · 22 评论 -
phoenix/hbase事务支持配置与使用
1、 下载对应集群版本的phoenix,地址http://mirrors.shu.edu.cn/apache/phoenix/phoenix支持的最新版本的CDH是5.11.2，很幸运，1月19号官方推出了这个版本，刚好解决了燃眉之急备注：如果不是CDH版本，直接下载上边对应的hbase版本应该就可以，这里的版本对应很重要，如果版本不匹配，会有各种jar包不匹配问题，...原创 2018-01-26 20:45:51 · 1806 阅读 · 2 评论 -
phoenix 批量插入优化（一次commit,多次commit比较）
1、没插入phoenix表一条，commit一次import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.PreparedStatement;import java.sql.St原创 2017-10-26 20:26:38 · 7990 阅读 · 4 评论