python爬虫MySql插入时出现异常——“Incorrect string value: '\\xF0\\x9F\\x92\\xB5”

在Python爬虫过程中遇到MySQL插入数据时出现'Incorrect string value'异常,问题源于MySQL的utf-8不支持4字节的表情字符。解决方法包括:升级到MySQL 5.5.3以上版本,修改MySQL配置文件使字段支持utf8mb4,以及调整项目中连接数据库URL去除'characterEncoding=utf-8'。

控制台报错如下:

Incorrect string value: '\\xF0\\x9F\\x92\\xB5,

现在整理解决方法如下:

摘录自:http://blog.csdn.net/fuxuejun/article/details/20361669

错误原因:我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ,这对应UTF-8编码格式中的4字节编码(UTF-8编码规范)。正常的汉字一般不会超过3个字节,为什么为出现4个字节呢?实际上是它对应的是智能手机输入法中的表情。那为什么会报错呢?因为mysql中的utf-8并不是真正意义上的utf-8,它只能存储1~3个字节长度的utf-8编码,如果想存储4个字节的必须用utf8mb4类型。不而要使用utf8mb4类型,首先要保证Mysql版本要不低于 MySQL 5.5.3。

摘录自:http://www.cnblogs.com/h--d/p/5712490.html

修改MySql 的ini文件

[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

  • 将数据库中对应的字段,改为utf8mb4_general_ci
  • 修改项目中的连接数据库的url,将characterEncoding=utf-8去掉,此步骤一定要进行


在处理MySQL插入表情符号出现的`Incorrect string value: '\xF0\x9F...'`错误,通常是因为数据库、表或字段的字符集不支持存储表情符号(如UTF8MB4编码)。以下是详细的解决方案: ### 1. 修改数据库字符集 确保数据库的默认字符集为`utf8mb4`以支持更广泛的字符集,包括表情符号。 ```sql ALTER DATABASE your_database_name CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ``` ### 2. 修改数据表字符集 将目标数据表的字符集修改为`utf8mb4`,以便正确存储表情符号。 ```sql ALTER TABLE your_table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ``` ### 3. 修改列字符集 如果只需要调整特定列的字符集,可以使用以下命令: ```sql ALTER TABLE your_table_name MODIFY column_name VARCHAR(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ``` 根据实际需求替换`VARCHAR(255)`为正确的数据类型和长度。 ### 4. 配置MySQL服务器 编辑MySQL配置文件(通常是`my.cnf`或`my.ini`),确保以下配置项已设置为支持`utf8mb4`: ```ini [client] default-character-set=utf8mb4 [mysqld] character-set-server=utf8mb4 collation-server=utf8mb4_unicode_ci ``` 重启MySQL服务使配置生效。 ### 5. 检查连接字符集 在应用程序中建立数据库连接,显式指定字符集为`utf8mb4`。例如,在PHP中: ```php $pdo = new PDO('mysql:host=localhost;dbname=your_db;charset=utf8mb4', 'username', 'password'); ``` 或者在Java中: ```java String url = "jdbc:mysql://localhost:3306/your_db?useUnicode=true&characterEncoding=UTF-8&connectionCollation=utf8mb4_general_ci"; ``` ### 6. 验证字符集设置 通过执行以下SQL语句验证当前数据库、表和列的字符集配置: ```sql -- 查看数据库字符集 SELECT schema_name, default_character_set_name FROM information_schema.schemata WHERE schema_name = 'your_database_name'; -- 查看表字符集 SELECT table_name, table_collation FROM information_schema.tables WHERE table_schema = 'your_database_name' AND table_name = 'your_table_name'; -- 查看列字符集 SELECT column_name, character_set_name FROM information_schema.columns WHERE table_schema = 'your_database_name' AND table_name = 'your_table_name'; ``` ### 7. 其他注意事项 - **备份数据**:在进行字符集转换前,建议备份数据库以防止数据丢失。 - **测试环境**:先在测试环境中验证修改后的效果,再部署到生产环境。 - **兼容性检查**:确认使用的MySQL版本支持`utf8mb4`(推荐版本5.7及以上)。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值