首先在爬虫存储处理过程通过查看日志发现了错误信息,Mysql错误信息1406 查找后得知1406错误就是数据信息过长超过了原本设置的text属性值的最大值。这里说一下关于text属性的最大值
关于1406错误
text类型是可变长度的字符串,最多65535个字符; 可以把字段类型改成MEDIUMTEXT(最多存放16777215个字符)或者LONGTEXT(最多存放4294967295个字符).代码如下
alter table travel_note modify column `travel_content` MEDIUMTEXT COMMENT '游记内容';
mysql 修改字段长度
alter table news modify column title varchar(130);
alter table 表名 modify column 字段名 类型;
如:news 表里的title 字段 原来长度是 100个字符,现长度要改成130个字符
alter table news modify column title varchar(130);
关于1366错误
修改上边操作之后发现还是有错误信息
error:1366, “Incorrect string value: ‘\xF0\x9F\x98\x81’
这是因为mysql不能识别4个字节的utf8编码的字符,抛出了异常,这应该也是问题的根源。☺、��、类似于这种4个字节,将对应字符类型换成将对应的数据类型改为utf8mb4类型,同时连接类型也要改成utf8mb4_general_ci
python 代码形式(3.6)
conn=pymysql.connect(
host=’127.0.0.1’,
port=3306,
user=’root’,
passwd=’343434’,
db=’kmind8’,
charset=’utf8mb4’,
)