Python操作MySQL 1366错误解决方案

说在前面

笔者最近在写Python爬虫，在一次将数据存储到MySQL中的过程中突然报1366错误（error：1366, “Incorrect string value: ）。通过查阅相关文档了解1366错误多数是字符编码前后不一致所造成，比如表的编码和插入的编码不一致。读者可以通过以下命令查阅相关字符集

mysql的字符集：show variables where Variable_name like '%char%';

数据库字符集：show create database databaseName;(databaseName为数据库名)

数据表字符集：show create table tableName;（tableName为表名)

场景一

表的编码与插入数据编码不一致（以utf8为例）

解决方案

1、设置表的字段编码

alter table ygspider change title title varchar(20) character set utf8;（title是字段名称）  

2、设置python代码中的mysql配置charset为utf8

mysql_conf = {
    'host': 'localhost',
    'user': 'root',
    'password': '1111',
    'port': 3306,
    'database': 'test',
    'charset': 'utf8'
}

---

场景二

正当笔者以为问题解决的时候，突然日志中又跳出一个插入失败，如下！

因为编码问题已经解决，所以排出了编码不一致问题，正当此时笔者突然发现，该插入的数据是title失败，而图中title的数据竟然有一个表情包图片，查阅相关资料后发现utf8最多处理3个字节，而这种表情图或者其他特殊字符是4字节，所以也导致了插入失败1366错误！

解决方案

使用utf8mb4！
1、设置表的字段编码

alter table ygspider change title title varchar(20) character set utf8mb4;（title是字段名称）  

2、设置python代码中的mysql配置charset为utf8mb4

mysql_conf = {
    'host': 'localhost',
    'user': 'root',
    'password': '1111',
    'port': 3306,
    'database': 'test',
    'charset': 'utf8mb4'
}

MySQL在5.5.3版本之后增加了这个utf8mb4的编码，低版本的MySQL支持的utf8编码，最大字符长度为3字节，如果遇到 4 字节的字符就会出现错误了。要在 MySQL 中保存 4 字节长度的 utf8 字符，就可以使用 utf8mb4 字符集了。

好了，以上就是笔者遇到的1366错误场景以及解决方案，如有错误，还望指正！

图解Python数据结构与算法-实战篇

迈向数据科学家：带你玩转Python数据分析