GBase8a执行insert异常Incorrect string value: ‘\xF0\xA5\xA2\x89‘ for column ‘name‘ at row 1

已于 2024-09-18 17:41:23 修改
阅读量592 收藏 4
点赞数 11
分类专栏： GBase 8a 文章标签： 数据库 sql linux database
于 2024-07-03 15:33:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45782319/article/details/140152274
版权

异常信息：

Incorrect string value: ‘\xF0\xA5\xA2\x89’ for column ‘name’ at row 1
在这里插入图片描述

排查思路：

1、先排除目标表是否为utf8mb4的表，GBase8a只支持在utf8mb4上插入4字节字符
2、排除源表的情况，正常情况下，4字节的数据没办法直接插入utf8的表中
3、一般是使用load data方式入库，怀疑是否为load data导致

测试步骤：

1）导入数据

# 制造测试数据
[gbase@keep-gbase8a-node5 ~]$ echo '1,𧒽
> 2,𥢉
> 3,𥦉
> 4,𥞉
> 5,正
> 6,常' > t_mb4.txt


[gbase@keep-gbase8a-node5 ~]$ gccli
# 创建库表
gbase> drop database if exists test_shengpi;
Query OK, 2 rows affected (Elapsed: 00:00:00.06)

gbase> create database test_shengpi;
Query OK, 1 row affected (Elapsed: 00:00:00.01)

gbase> use test_shengpi;
Query OK, 0 rows affected (Elapsed: 00:00:00.01)

gbase> create table t_utf8(id int, name varchar(100)) charset=utf8;
Query OK, 0 rows affected (Elapsed: 00:00:00.04)

gbase> create table t_utf8mb4(id int, name varchar(100)) charset=utf8mb4;
Query OK, 0 rows affected (Elapsed: 00:00:00.04)

# 加载数据
gbase> load data infile 'file://192.168.122.31/home/gbase/t_mb4.txt' into table test_shengpi.t_utf8 data_format 3 fields terminated by ',' lines terminated by '\n';
Query OK, 6 rows affected (Elapsed: 00:00:00.09)
Task 582219 finished, Loaded 6 records, Skipped 0 records

2）测试insert into

gbase> insert into t_utf8mb4 select * from t_utf8;
ERROR 1708 (HY000): [192.168.122.31:5050](GBA-02AD-0005)Failed to query in gnode:
DETAIL: Incorrect string value: '\xF0\xA7\x92\xBD' for column 'name' at row 1
SQL: SELECT /*192.168.122.31_920_8_2024-07-03_15:03:45*/ /*+ TID('1968442') */ `vcname000001.test_shengpi.t_utf8`.`id` AS `id`, `vcname000001.test_shengpi.t_utf8`.`name` AS `name` FROM `test_shengpi`.`t_utf8_n2` `vcname000001.test_shengpi.t_utf8` target into server (HOST '192.168.122.31,192.168.122.47', PORT 5050, USER 'root', PASSWORD '', DATABASE 'test_shengpi', TABLE 't_utf8mb4_n2', COMMENT 'table_host 0 0 1, scn 582220, distribution 1' )

3）排查日志信息

[gbase@keep-gbase8a-node5 ~]$ vim /data/192.168.122.31/gnode/log/gbase/express.log

2024-07-03 15:03:45.590 Table test_shengpi.t_utf8mb4_n2, col 1, name, convert exception, value 𧒽, src type PA_VARCHAR(100), src charset utf8_general_ci, dst type PA_VARCHAR(100), dst charset 45: \xF0\xA7\x92\xBD, query SELECT /*192.168.122.31_920_8_2024-07-03_15:03:45*/ /*+ TID('1968442') */ `vcname000001.test_shengpi.t_utf8`.`id` AS `id`, `vcname000001.test_shengpi.t_utf8`.`name` AS `name` FROM `test_shengpi`.`t_utf8_n2` `vcname000001.test_shengpi.t_utf8` target into server (HOST '192.168.122.31,192.168.122.47', PORT 5050, USER 'root', PASSWORD '', DATABASE 'test_shengpi', TABLE 't_utf8mb4_n2', COMMENT 'table_host 0 0 1, scn 582220, distribution 1' )
2024-07-03 15:03:45.590 Incorrect string value: '\xF0\xA7\x92\xBD' for column 'name' at row 1
2024-07-03 15:03:45.591 (gns_host: 192.168.122.31) Incorrect string value: '\xF0\xA7\x92\xBD' for column 'name' at row 1 table:./test_shengpi/metadata/t_utf8mb4_n2
2024-07-03 15:03:45.598 (gns_host: 192.168.122.32) Incorrect string value: '\xF0\xA5\xA6\x89' for column 'name' at row 1 table:./test_shengpi/metadata/t_utf8mb4_n1
2024-07-03 15:03:45.636 Table ./test_shengpi/metadata/t_utf8mb4_n2, recv locks 1, flush rollback return 0.
2024-07-03 15:03:45.636 Table ./test_shengpi/metadata/t_utf8mb4_n1, recv locks 1, flush rollback return 0.

日志分析： 在insert的过程中，对name字段做了convert操作，由于字符集问题导致报错

4）解决方法

直接执行insert into 会报错，如下：

[gbase@keep-gbase8a-node5 ~]$ gccli

GBase client 9.5.3.28.149123692. Copyright (c) 2004-2024, GBase.  All Rights Reserved.

gbase> use test_shengpi;
Query OK, 0 rows affected (Elapsed: 00:00:00.00)

gbase> insert into t_utf8mb4 select * from t_utf8;
ERROR 1708 (HY000): [192.168.122.31:5050](GBA-02AD-0005)Failed to query in gnode:
DETAIL: Incorrect string value: '\xF0\xA5\xA6\x89' for column 'name' at row 1
SQL: SELECT /*192.168.122.31_1456_2_2024-07-03_15:23:03*/ /*+ TID('1968483') */ `vcname000001.test_shengpi.t_utf8`.`id` AS `id`, `vcname000001.test_shengpi.t_utf8`.`name` AS `name` FROM `test_shengpi`.`t_utf8_n2` `vcname000001.test_shengpi.t_utf8` target into server (HOST '192.168.122.31,192.168.122.47', PORT 5050, USER 'root', PASSWORD '', DATABASE 'test_shengpi', TAB
gbase>
解决方法1：

（1）把t_utf8表的数据导出成数据文件，

select * from test_shengpi.t_utf8 into outfile '/home/gbase/t_oututf8.txt' 
fields terminated by ',' LINES TERMINATED BY '\N'  WRITEMODE BY OVERWRITES;

（2）把数据文件再导入t_utf8mb4表

load data infile 'file://192.168.122.31/home/gbase/t_oututf8.txt/t_oututf8.txt' into table test_shengpi.t_utf8 
data_format 3 fields terminated by ',' lines terminated by '\n';

具体代码：

[gbase@keep-gbase8a-node5 ~]$ gccli

gbase> select * from test_shengpi.t_utf8 into outfile '/home/gbase/t_oututf8.txt'
    -> fields terminated by ','  WRITEMODE BY OVERWRITES;
Query OK, 6 rows affected (Elapsed: 00:00:00.05)

gbase> load data infile 'file://192.168.122.31/home/gbase/t_oututf8.txt/t_oututf8.txt' into table test_shengpi.t_utf8mb4
    -> data_format 3 fields terminated by ',' lines terminated by '\n';
Query OK, 6 rows affected (Elapsed: 00:00:00.08)
Task 582228 finished, Loaded 6 records, Skipped 0 records

gbase> set names utf8mb4;
Query OK, 0 rows affected (Elapsed: 00:00:00.00)

gbase> select * from test_shengpi.t_utf8mb4;
+------+------+
| id   | name |
+------+------+
|    1 | 𧒽     |
|    5 | 正   |
|    3 | 𥦉     |
|    4 | 𥞉     |
|    6 | 常   |
|    2 | 𥢉     |
+------+------+
6 rows in set (Elapsed: 00:00:00.02)

在这里插入图片描述

解决方法2：

具体方法： 在执行SQL时，对数据进行十六进制转换操作
具体代码：

# 使用hex对字段的数据进行十六进制转换
# 再用unhex对十六进制转为正常数据
gbase> insert into t_utf8mb4 select id,unhex(hex(name)) from t_utf8;
Query OK, 6 rows affected (Elapsed: 00:00:00.10)
Records: 6  Duplicates: 0  Warnings: 0

5）数据查询对比

（1）会话为utf8字符集
[gbase@keep-gbase8a-node5 ~]$ gccli

GBase client 9.5.3.28.149123692. Copyright (c) 2004-2024, GBase.  All Rights Reserved.

gbase> set names utf8;
Query OK, 0 rows affected (Elapsed: 00:00:00.00)

gbase> show variables like '%character%';
+--------------------------+------------------------------------------------------------+
| Variable_name            | Value                                                      |
+--------------------------+------------------------------------------------------------+
| character_set_client     | utf8                                                       |
| character_set_connection | utf8                                                       |
| character_set_database   | utf8                                                       |
| character_set_filesystem | binary                                                     |
| character_set_results    | utf8                                                       |
| character_set_server     | utf8                                                       |
| character_set_sort       | binary                                                     |
| character_set_system     | utf8mb4                                                    |
| character_sets_dir       | /data/192.168.122.31/gcluster/server/share/gbase/charsets/ |
+--------------------------+------------------------------------------------------------+
9 rows in set (Elapsed: 00:00:00.00)

gbase> select * from test_shengpi.t_utf8;
+------+------+
| id   | name |
+------+------+
|    3 | 𥦉     |
|    6 | 常   |
|    1 | 𧒽     |
|    4 | 𥞉     |
|    2 | 𥢉     |
|    5 | 正   |
+------+------+
6 rows in set (Elapsed: 00:00:00.04)

gbase> select * from test_shengpi.t_utf8mb4;
+------+------+
| id   | name |
+------+------+
|    1 | ?    |
|    4 | ?    |
|    2 | ?    |
|    5 | 正   |
|    3 | ?    |
|    6 | 常   |
+------+------+
6 rows in set (Elapsed: 00:00:00.03)

在这里插入图片描述

（2）会话为utf8mb4字符集
gbase> set names utf8mb4;
Query OK, 0 rows affected (Elapsed: 00:00:00.00)

gbase> show variables like '%character%';
+--------------------------+------------------------------------------------------------+
| Variable_name            | Value                                                      |
+--------------------------+------------------------------------------------------------+
| character_set_client     | utf8mb4                                                    |
| character_set_connection | utf8mb4                                                    |
| character_set_database   | utf8                                                       |
| character_set_filesystem | binary                                                     |
| character_set_results    | utf8mb4                                                    |
| character_set_server     | utf8                                                       |
| character_set_sort       | binary                                                     |
| character_set_system     | utf8mb4                                                    |
| character_sets_dir       | /data/192.168.122.31/gcluster/server/share/gbase/charsets/ |
+--------------------------+------------------------------------------------------------+
9 rows in set (Elapsed: 00:00:00.00)

gbase> select * from test_shengpi.t_utf8;
+------+------+
| id   | name |
+------+------+
|    3 | ???? |
|    6 | 常   |
|    2 | ???? |
|    5 | 正   |
|    1 | ???? |
|    4 | ???? |
+------+------+
6 rows in set (Elapsed: 00:00:00.02)

gbase> select * from test_shengpi.t_utf8mb4;
+------+------+
| id   | name |
+------+------+
|    3 | 𥦉     |
|    6 | 常   |
|    1 | 𧒽     |
|    4 | 𥞉     |
|    2 | 𥢉     |
|    5 | 正   |
+------+------+
6 rows in set (Elapsed: 00:00:00.02)

在这里插入图片描述

keep__go
关注
专栏目录
南大通用GBase 8a集群管理培训资料
09-18
2-GBase 8a MPP Cluster 安装部署.pdf 3-GBase 8a MPP Cluster 日常维护.pdf 4-GBase 8a MPP Cluster SQL指南.pdf 5-GBase 8a MPP Cluster 数据加载.pdf 6-GBase 8a MPP Cluster 数据导出.pdf 7-GBase 8a MPP ...
python for gbase8a 驱动
03-23
python 连接Gbase8a 的驱动程序， 资源比较稀缺； 安装步骤： tar -zxvf gbase-connector-python-3.0.1.tar.gz -C /usr/local/src/ cd /usr/local/src/gbase-connector-python-3.0.1 python3 setup.py install from ...
ERROR 1366 (HY000): Incorrect string value: '\xC6\xF4\xD3\xC3' for column 'name' at row 1
This My Life - chisj
07-08 1373
转载自：http://blog.csdn.net/qq_20545159/article/details/45789543 ERROR 1366 (HY000): Incorrect string value: '\xC6\xF4\xD3\xC3' for column 'name' at row 1 mysql>status D:\mysql6.0\bin\mysql.exe  Ver
用spark从oracle抽取数据到Gbase8a报错：java.sql.BatchUpdateException: Incorrect string value: ‘\xF0\x9F\x93\
xiangshiyufengzhong的博客
08-24 557
报错内容： 2021-08-06 15:18:30 : Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): java.sql.BatchUpdateException: Incorrect string value: '\xF0\x9F\x93\xB1
Incorrect string value: '' for column '' at row 1 错误分析
关注java，学习java编程技术及技巧，孜孜不倦...
03-11 5842
今天在做项目的时候，遇到了这样一个问题，“ Incorrect string value: '' for column '' at row 1 ” 然后就是各种找资料，最后发现这是一个 mysql数据库的问题，mysql的列可以控制字符集的，也就是字符集编码的问题，当你在设计数据库的时候搞错了的时候，比如中文的东西你搞成，latin1 后就会报如下的错误的，如果这列数据会出现这样的
Incorrect string value: ‘\xF0\x9F\x8D\x85‘ for column ‘name‘ at row 1 异常排查和解决
最新发布
lallalrw的博客
09-06 1165
*问题背景：**使用qq第三方登录时，获取qq用户信息填充到数据库用户表中，出现了Incorrect string value: ‘\xF0\x9F\x8D\x85’ for column ‘name’ at row 1的问题。我是用的数据库编码是UFT-8的，UTF-8最大只能存三个字节，而qq昵称是个表情，是四个字节，所以导致存入数据库报错。首先我先将数据库，表和字段都改成了utf8mb4的格式，在这就只加一个字段修改的sql做展示。在数据库写sql做插入测试，没有问题，可以正常插入了。
数据库添加数据错误显示 incorrect string value
wumingdazu的博客
07-24 958
数据库插入数据显示错误 提示 incorrect string value XXXXX 查看数据库的字符集，并把字符集设置为utf8 把表清空一下 重新插入就好了
存储数据库出现Incorrect string value，base64超简单转存
zyxWebRoad的博客
04-29 342
不多说，直接上代码 可以自己去试一下 select to_base64('洋葱'); select from_base64('5rSL6JGx'); mybatis框架，mapper.xml 1.增和改使用to_base64() INSERT INTO mall_client( id, openid, name, phone_num, head_portrait, ...
GBase 8a MPP Cluster SQL DML语句详解：INSERT操作
GBase 8a MPP Cluster 是一个支持标准 DML（Data Manipulation Language，数据操作语言）的数据库系统，它提供了一系列用于数据插入、修改和查询的命令。DML语句是SQL（Structured Query Language，结构化查询语言）...
GBASE8A的jdbc驱动
11-04
GBase系列产品包括：新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高端事务型数据库GBase 8t、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密...
GBase 8a MPP Cluster DML语句详解：INSERT操作
"GBase 8a MPP Cluster的DML语句，包括INSERT操作的详细说明" 在数据库管理系统中，DML（Data Manipulation Language）语句用于处理数据，如插入、更新和删除记录。GBase 8a MPP Cluster是一款高性能的并行数据库...
Ubuntu解决mysql录入中文报错Incorrect string value: for column type at row 1
qq_1905369638
06-24 643
2点半解决一个数据库问题，特此记录！ 环境： jdk8 + mysql5.7 小错一： Column count doesn‘t match value count at row 1 说的是列名不匹配。 示例是 insert into user(colum1,colum2,colum3) 但是写成了values是(字段1，字段2)这种信息。 大错二： 项目环境搭建好后，出现中文等录入不了mysql数据库,如下： 解决 Incorrect string value: for column ‘name’ a.
Incorrect string value异常解决
wangchaoqi1985的博客
08-17 351
Incorrect string value异常解决
mysql 插入中文错误：Incorrect string value:
u014421914的博客
03-05 1827
问题背景： 使用navicat连接mysql插入中文内容时，出现”Mysql 插入中文错误：Incorrect string value:“，经测试直接在命令行中输入insert也会这样 问题原因 问题一：在创建表时，未指定字符集 问题二：由于未指定表的字符集，导致列的字符集也不是utf8 解决方案 问题一 还未建表 在创建表时就把字符集指定 CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INC
【刨根问底】数据库插入数据时报 incorrect string value for column 异常，如何破？
追寻上飞的博客
12-26 6072
在记录异常日志时，系统报 `incorrect string value for column`异常，一般情况下这个就是数据库字符集的问题。
Incorrect key file for table错误解决方法
热门推荐
wxc20062006的专栏
05-24 1万+
问题现象： 开发人员18:00发现从库环境从早上9:00后，从库的数据与主库中的不一致。 是打开从库，检查环境，发现slave_thread线程挂了，检查时发现由于对一张39GB的大表添加字段没成功，并不当回事，于是start slave直接拉起线程，并用show slave status\G检查状态，发现正常,也就没太留意。 直到第二天上班时，发现主从数据依然未同步，所以感觉问题不像表现那
MySQL 数据库插入数据时报错: Incorrect string value: xxx for column ‘name‘ at row ...
weixin_42425305的博客
03-12 5418
Incorrect string value: '\xE8\xBF\x99\xE6\x98\xAF...' for column 'name' at row ...
MySQL - 如何修复 ‘Incorrect string value‘ 错误
weixin_63790775的博客
12-10 3496
MySQL - 如何修复 'Incorrect string value' 错误
mysql 数据库 插入数据时 Incorrect string value for column 编码异常
是微风，是晚霞，是无可替代
04-08 980
这个是java开发人员通过向数据库插入中文或者表情符号时一个经典的错误。网上提供的原因通常是将数据库的编码为gbk或其他非utf-8编码，解决方案为将数据库编码改为utf-8。别问为什么，因为我修改数据库的编码格式没成功…推荐修改某一列的编码格式…
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值