phoneix 映射hbase中hbase 乱码解决方案处理

已于 2024-01-26 10:36:06 修改
阅读量616 收藏 9
点赞数 12
文章标签： hbase 数据库 大数据
于 2024-01-25 09:58:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52106874/article/details/135836757
版权
本文讲述了在Phoenix中处理HBase乱码问题的方法，包括使用VARCHAR类型、设置COLUMN_ENCODED_BYTES为0、优化主键结构以及调整NIFI中获取单一字段和列族下所有字段的配置。还提及了如何在publishKafka时正确配置以确保数据一致性。
摘要由CSDN通过智能技术生成

phoneix 映射hbase中hbase 乱码解决方案处理及nifi中部分细节问题

  1. 由于hbase 是 nosql ，其底层字段存储只由字节数组实现，不区分字段类型，因此在将数据存在hbase中时，为了防止乱码，所有字段均应为varchar类型

  2. 考虑到varchar类型的插入，phoneix中所有插入语句中字段值必须为单引号覆盖

  3. phoneix正常创建表，列族会被序列化，hbase中会乱码，需要加上 COLUMN_ENCODED_BYTES=0;

  4. 主键加上了3中操作依然会显示为INFO：_0 （INFO列族下），因此尽量使用单独的rowkey字段作为主键，保持rowkey 与 真实 主键值相同即可

  5. 中文部分在hbase中会被存储为/uxxxx的utf8格式，具体使用时改变编码即可，不影响什么

  7. 在phoneix中创建的表会被默认采取大写形式存储到phoenix中，使用双引号括起来即可解决大小写问题，具体见下图，未完待续
    在这里插入图片描述

nifi中与hbase匹配

获取单一字段

在这里插入图片描述

获取一个列族下所有字段

以INFO列族为例

在这里插入图片描述

publishkafka配置

在这里插入图片描述

what_happened!
关注
  • 12
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase 中文乱码 查询_HBase的汉字乱码问题
weixin_42610671的博客
12-30 2914
运用Java的API存储汉字到hbase中，代码如下：public static void insterRow(String tableName,String rowkey,String colFamily,String col,String val) throws IOException {init();Table table = connection.getTable(TableName.va...
hbase乱码问题解决
天方夜谭
12-07 1万+
解决Eclipse发布到Tomcat丢失依赖jar包的问题 Build Path->Configure Build Path ->Deployment Assembly ->Add->java build path entries 另外一定要注意：使用HBase API时不要使用str.getBytes将String转化为byte[] ，而应该使用Bytes.toBytes(st
springboot集成phoenix+hbase
10-26
springboot集成phoenix+hbase 完整demo！！！！！！！
docker容器内，phoenix中文乱码
qq_38126315的博客
08-17 332
docker容器内，phoenix中文乱码 具体表现为，中文全是??? 将docker容器的语言环境改为中文的 操作如下 ① 查看当前语言环境 # locale [root@node /]# locale LANG= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME="POSIX" LC_COLLATE="POSIX" LC_MONETARY="POSIX" LC_MESSAGES="POSIX" LC_PAPER="POSIX" LC_NAME="POSIX" LC_
关于phoenixframe创建用例时中文乱码问题的解决方案
weixin_34128237的博客
06-25 251
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase 存储乱码的问题--解决方案
健康平安的活着的专栏
08-05 4146
最近在将一些数字型的数据转成字节后存储到hbase中，出现了乱码问题，如下： public byte[] nextId() { try { long partitionId = currentId % partition; return Bytes.add(Bytes.toBytes(partitionId), ...
phoenix 建表无法映射hbase已有字段的问题解决（开启namespace后出现的问题）
高矮
10-12 1382
phoenix版本：4.13.2-cdh5.11.2 遇到问题：当开启phoenix namespace功能之后，在phoenix中映射已有hbase的数据时，出现phoenix建表时不能匹配hbase表已有字段的问题： 如图： hbase的字段NT_SALE_ORDER_ID没有被映射过来 解决，这里有两种解决办法： 1、在建表时添加参数“COLUMN_ENCODED_BYTES ...
HBase 乱码问题解决方法（通过java api 插入数据）
随风随想
07-16 1万+
HBase 提供了 java 的api，可以很方便的通过 java 代码创建 table， 添加数据，删除数据等。 其中添加数据的代码如下： package com.hbase.apidemo; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; im...
phoenix-hbase-2.4-5.1.2
03-09
配置时，需要将Phoenix的JAR文件添加到HBase的类路径中，然后在HBase的配置文件中指定Phoenix的相关参数，如连接URL、Zookeeper地址等。 4. **使用Phoenix进行数据操作** 开发者可以通过JDBC驱动连接到Phoenix，...
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
Phoenix和HBase是大数据领域中重要的数据库解决方案，它们在处理大规模、分布式存储和查询上有着卓越的表现。本文将深入探讨这两个技术及其结合体`phoenix-hbase-2.2-5.1.2-bin.tar.gz`的详细内容。 首先，HBase...
phoenix-hbase-1.4-4.16.1-bin
07-20
《Phoenix与HBase的深度解析：基于phoenix-hbase-1.4-4.16.1-bin的探讨》 Phoenix是一种开源的SQL层，它为Apache ...通过深入理解和实践，开发者可以充分利用这两个强大的工具，构建出高效、易用的大数据解决方案。
phoenix-hbase各个版本的下载地址
11-28
phoenix-hbase各个版本源码的下载地址，由于phoenix对hbase的版本有要求，所以大家根据自己环境的情况下载
phoenix创建hbase表映射
m0_37306331的博客
04-29 1898
创建命名空间 hbase(main):018:0> create_namespace 'foo' Took 0.2535 seconds 0: jdbc:phoenix:thin:url=http://hb-bp1ya00iwt> create schema foo; No rows affected (0.256 seconds) DROP schema FOO; 2创建表 命名空间 foo，表名stu，列族info hbase(main):019:0> ...
2020-11-20
m0_51330398的博客
11-20 162
为什么会乱码？
HBase中关于中文的处理
热门推荐
dajuezhao的专栏
07-21 2万+
1、HBase版本hbase-0.20.5，Hadoop的版本hadoop-0.20.2，JDK1.6 2、在HBase中创建了表，如果想通过控制台使用命令写入含有汉字的数据，录入是不成功的。 3、如果想对汉字进行录入，可以通过代码实现，这里我使用的是java，代码如下： /** * 向指定的表插入单个Put对象 * * @param tablename * @param conf * @throws Exception */
phoenix_编码问题
子龙修仙的博客
05-23 2726
使用过程中发现一个问题，使用hbase写入的int值，phonix读出不正确，反之也不正确。如下表：Int值1Hbae中存储Hbase读Phoenix读Hbase写入\x00\x00\x00\x01 1-2147483646Phoenix写入\x80\x00\x00\x01-21474836471 unsigned_int值1Hbae中存储Hbase读Phoenix读Hbase写入\x00\x00...
在SQuirrel中使用Phoenix操作HBase——创建表和视图
caomiao2006的专栏
06-11 9266
HBase，一个NoSQL数据库，可存储大量非关系型数据。 HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是一个数据库，但是它的查询语句，很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase，那就很Perfect了。   现有工具有很多Hive，Tez，Impala，Shark/Spark，
大数据技术之HBase API(3)
最新发布
qq_45115959的博客
08-31 821
类来创建，使用完成后需手动关闭连接。由于连接是重量级的，建议每个进程只使用一个连接，通过连接中的。包虽然会报错不存在，但这仅是一个测试用的依赖，不会影响实际使用。创建 HBaseDDL 类，添加静态方法即可作为工具类。根据官方API介绍，HBase的客户端连接由。使用单例模式确保一个连接被多个线程共享。属性执行HBase命令。文件夹中创建配置文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值