阿里云DataWorks同步数据的时候,出现emoji表情存不进去的问题的解决方法

最新推荐文章于 2021-12-07 13:34:01 发布
最新推荐文章于 2021-12-07 13:34:01 发布
阅读量975 收藏
点赞数
分类专栏： --- 实用性文章 ---
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeguxin/article/details/80169655
版权
本文介绍了在阿里云DataWorks中遇到emoji表情无法存入Mysql的问题及其解决方案。通过对比utf8和utf8mb4编码的区别，强调utf8mb4能支持更广泛的字符集，包括emoji，适用于Mysql5.5及以上版本。
摘要由CSDN通过智能技术生成
    背景:公司使用阿里云的BI工具来做数据的统计,在这之前的一个步骤是做数据的筛选.这一步使用阿里的DataWorks.使用DataWorks的过程中看log发现有一部分数据是通过DataWorks导入不到目标库的.
    原因:由于公司使用的数据库是阿里云的RDS版云数据库,所以在DataWorks中配置数据源时选择的数据源的类型一直都是阿里云数据库(RDS).通过RDS实例ID等信息来配置数据源.所以我猜想这样默认采用的数据库编码是utf8.而emoji表情和一些特殊的字符是4个字节.而Mysql的utf8编码最多3个字节,所以插不进去.
    背景知识:
  • utf8
最低0.47元/天 解锁文章
叶孤心丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
大字节写入数据到mysql出错_DataX:导入4字节UTF8编码（生僻字）到Mysql数据库的utf8mb4数据表-阿里云开发者社区...
weixin_35696071的博客
02-05 610
概述MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符，MYSQL的utf-8编码，只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符，日常生活中人的姓名就会有很多高位的生僻字。如果直接使用datax同步数据到utf-8编码的数据库中，遇到高位字节的字符时，程序会抛异常。即便数据库中的表的字符集是设置为uft8mb4字符集。在datax异常日志中...
阿里RDS中插入emoji 表情插入失败的解决方案
程序员陆通
09-25 3329
问题描述 ： 使用rds时，emoji 表情插入失败，已经修改character_set_database和character_set_server为utf8mb4，数据库字符集也设置了utf8mb4，还是插入失败，错误提示：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x82\xF0\x9F...' for colu
Emoji表情插入DB问题调查总结
believer123的专栏
11-24 533
最近项目开发的时候发现插入emoji表情的时，会报如下错误： Caused by; com. ibatis。common. j dbc。except ion .NestedSQLExcept ion: The error occurred while applying a parameter map. Check the MS -RESERVATION RECORD UPDATE- Inline...
解决阿里云RDS mysql8.0数据库不能存储微信昵称含特殊表情或字符的问题
weixin_30414155的博客
07-16 565
1、自定义的数据库中设置的字符集类型为utf8mb4，应该是能存微信特殊表情，但是在写入数据库的时候出现错误。 2、那说明是阿里云数据库字符集设置的问题。 3、进入阿里云数据库实例管理页面，有个参数管理，修改参数：character_set_server 为utf8mb4 转载于:https://www.cnblogs.com/fancy2041/p/11196354.html...
【数据库】报错：SQLException: Incorrect string value: ‘\xF0\x9F\x98\x80‘ for colum
lsr40的博客
10-09 1689
在同步数据的时候，遇到了如标题这样的报错 这得从mysql的utf8和utf8mb4说起（从盘古开天辟地说起） 一、原因： mysql最早的utf8是3个byte组成的，但是有一些字符是4个byte组成的，比如现在各类短视频，交友平台用户昵称会使用的emoji表情符号，也就是说mysql中存这个昵称的字段如果是utf8的编码，那很可能就会报如上的错！ 二、解决： 1、将字段改为utf8mb4 提供不同的思路： （1）、新建utf8mb4的表，然后把数据导出再导入 如何设置字符集，..
mysql数据库支持表情_mysql数据库支持表情
weixin_34983902的博客
02-02 217
数据集成的同步任务设置编码格式后，如果数据中包括表情符，在运行任务时可能出现同步失败且产生脏数据，或同步成功但数据乱码的问题。 • 同步失败且产生脏数据 数据集成任务运行失败，且因编码问题产生脏数据，报错日志如下所示。 016-11-18 14:50:50.766 [13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据 {"exception...
MySQL无法存储Emoji表情问题的解决方法分析
09-09
主要介绍了MySQL无法存储Emoji表情问题的解决方法,结合实例形式分析了存储Emoji表情报错的原因及相应的解决方法,需要的朋友可以参考下
MySQL插入emoji表情失败问题的解决方法
12-15
之前一直认为UTF-8是万能的字符集问题解决方案，直到最近遇到这个问题。最近在做新浪微博的爬虫， 在存库的时候发现只要保持emoji表情，就回抛出以下异常： Incorrect string value: '\xF0\x90\x8D\x83\xF0\x90......
java处理数据库不支持的emoji表情符问题解决
08-25
这种方法简洁高效，并且可以实现快速的解决问题。 下面是一个过滤掉表情符的工具类的示例代码： ```java import java.util.regex.Matcher; import java.util.regex.Pattern; public class EmojiUtil { public ...
nacos支持mysql 8了，你知道吗？
动哒APP—运动健康科技提供商
07-04 662
本文由通密全栈公众号（tongmi5g），QQ群（58621899）提供，欢迎关注获取技术支持，有任何问题群里都会回复。 nacos是java分布式开发中很重要的一个服务发现和管理的中间件，虽然nacos诞生有两三年了（吧），一直不支持mysql 8，需要支持mysql 8的话，要自己改nacos代码，重新打包驱动（我累，本来搞个中间件就够麻烦了）。 不过，最近nacos支持了mysql 8的驱动了，看下面的的截图，从1.3.1开始支持了mysql 8。 问题来了，那为什么mysql 8那么重要呢？
解决阿里云RDS mysql5.7数据库不能存储微信昵称含特殊表情或字符的问题
LifeOneOnly的博客
05-18 566
解决阿里云RDS mysql5.7数据库不能存储微信昵称含特殊表情或字符的问题 1、数据库和表的字符集类型设置为utf8mb4； 2、字段字符集设置为utf8mb4。 3、进入阿里云数据库实例管理页面，有个参数管理，修改参数：character_set_server 为utf8mb4 （纯粹作为个人记录和分享，尊重原创，人人有责） ...
MySQL编码探究
weixin_64314555的博客
12-07 928
前言 时位于 2002 年，MySQL4.1 版本开始支持 UTF-8 编码，由于当时采用RFC 2279规定该编码使用 1~6 字节存储单个字符，MySQL 开发者在同年 9月对源码进行了修改，将 UTF-8 编码从最大 6字节变更为 3字节，也就有了现在的UTF8MB3。 我们都知道，UTF8MB3是无法存储 SMP(Supplementary Multi-lingual Plane)字符的，而 MySQL 后来基于RFC 3629 标准新增了UTF8MB4。这时候我们只需要将表(Table)和字段(
6、整合MyBatis Plus+MySQL（SpringBoot框架）
lzjzlzw的博客
11-18 318
目录： 1、搭建maven项目（工具：IDEA 2019.2.3） 2、在maven项目中搭建SpringBoot框架 3、maven项目中使用jsp（SpringBoot框架） 4、自定义SpringBoot配置 5、自定义项目启动banner显示（SpringBoot） 6、整合MyBatis Plus+MySQL（SpringBoot框架） 注：Maven pom.xml详解 ...
深入解读：获Forrester大数据能力高评价的阿里云DataWorks思路与能力
云栖社区
03-26 1345
云栖君导读： Forrester发布了Now Tech: Cloud Data Warehouse Q1 2018报告，报告对云化数据仓库（Cloud Data Warehouse, CDW）的主要功能、区域表现、细分市场和典型客户等进行了全面评估。一、前言本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna
实战之从阿里云dataworks的maxcomputer中导出数据
周星星
04-29 5157
背景 大数据存储场景：一般有点实力的公司，会自有机房，将自己的内部数据存储在服务器集群当中，而一些前期没考虑机房的公司，会选择将数据存储在公有云上，国内现在比较厉害的有阿里云、华为云、亚马逊云等。 今天有个需求，客户公司，他们的数据存储在阿里云上，使用的是MaxCompute（原ODPS）来计算和分析数据。MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务。 考虑到直连客户数据库的敏感性和数据的安全性，我们选择直..
解决 emoji 表情的存储问题。
qq_34272495的博客
12-01 2160
我用的mysql 的5.5.27。 1 将 该 字段 的编码集 改为 utf8mb4 即可 -- select version();  -- 查看自己的 字符集编码  SHOW VARIABLES LIKE 'character%'; -- 修改 数据库的字符集为utf8mb4 alter database ok_look default character s
DataWorks数据埋点的设计及未来发展的思考
weixin_33924312的博客
11-01 326
什么是前端埋点？ 马总曾经说过现在是DT时代（大数据的时代）。 数据已经成为一家公司最宝贵的财富，越来越多的互联网公司开始重视数据的应用。数据应用的过程是：数据收集 -> 数据整理（数据同步）-> 数据分析 -> 数据可视化。 前端埋点是用户行为数据采集领域非常重要的手段，指的是针对特定用户行...
com.mysql.jdbc.SingleByteCharsetConverter错误解决办法
看上去很美
06-05 3884
java.io.CharConversionException   at gnu.gcj.convert.Input_iconv.read(libgcj.so.81)   at java.lang.String.init(libgcj.so.81)   at java.lang.String.(libgcj.so.81)   at com.mysql.jdbc.SingleByteCharsetC
mysql数据库存emoji表情
最新发布
08-09
在插入数据时，确保将emoji表情的字符串正确存储到utf8mb4编码的列中。如果使用的是MySQL客户端，确保客户端也使用utf8mb4编码。如果使用程序进行插入操作，确保程序连接数据库时设置了正确的字符集编码。 这样配置...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叶孤心丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值