MySQL 中如何存储 emoji ?
问题还原
使用 erlang 存储一些特殊字符串到MySQL的时候,却没法读出来。经检查,这些字符串的二进制格式如下:
<<240,159,152,134,240,159,152,144>>
查看二进制的 unicode 是什么?
14> unicode:characters_to_list(<<240,159,152,134,240,159,152,144>>).
[128518,128528]
15> erlang:integer_to_list(128518,16).%%查看十六进制
"1F606"
16> erlang:integer_to_list(128528,16).
"1F610"
明显,1F606 和1F610超过了常见unicode字符串0000-FFFF的表达范围。
1F606 和1F610代表什么?
根据 unicode 官网上的说明,这是一种emoji(表情符号),具体的展示形式与厂商有关。
MySQL 上存储失败的原因
目前来说,多数 MySQL 都是以utf8存储,注意MySQL的utf8和我们所说的传统utf8有点区别。MySQL的utf8编码规定了最多只能有3个字节,而emoji的unicode已经超过了3个字节,因此MySQL的utf8无法识别与存储emoji。
为此可以查阅 MySQL 中关于unicode支持的资料,从中可以得知MySQL在5.5后开始支持utf8mb4,这种编码支持1 ~ 4个字节,这种编码可以表示emoji。
另外 utf8mb4 向下兼容utf8。
解决方案
将 MySQL 中对应的字段改成utf8mb4编码:
ALTER TABLE t1
DEFAULT CHARACTER SET utf8mb4,
MODIFY col1 CHAR(10)
CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
MODIFY col2 CHAR(10)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL;
将连接库的连接编码改为 utf8mb4,下面兄弟连(www.itxdl.cn)就以 erlang 的连接库emysql为例:
emysql:add_pool(pool,[{size,1},{user,"user"},{password,"password"},{host,"host"},{port,3306},{encoding,utf8mb4}]).
%%或者
emysql:add_pool(pool,1,"user","password","host",3306,undefined, utf8mb4).
为了建表方便,可以修改 my.cnf:
# 服务器字符集
[mysql]
default-character-set=utf8mb4
[mysqld]
character-set-server=utf8mb4