Python写UTF-8字符到MySQL,会偶尔报无法解码'\xxx\xxx'类错误

最新推荐文章于 2021-05-18 11:06:14 发布
最新推荐文章于 2021-05-18 11:06:14 发布
阅读量291 收藏
点赞数
分类专栏： python mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/saberpuren/article/details/51750934
版权

今天爬虫抓取某网站评论，跑了一会儿都没问题，突然报'\xxx\xxx'错，Python字符及MySQL对应表均为utf8编码，然后报错的内容却是16进制数，不是utf8字符集。


打印正常字符类似[u'\uxxxx\uxxxx',u\uxxxx\uxxxx']


而错误字符串在python中则存储为 u"\uxxxx\uxxxx"


定位到错误字符，对应原字符串为 u“很不错'非常好” ,可以看到中间多了单引号"'"，导致MySQL入库时enclosed字符不统一出错。


解决办法：入库前，将字符串中的单引号替换为空或其他常规符号

saberpuren
关注
专栏目录
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 19万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
python 数据库编程，这篇是针对 mysql 的，滚雪球学Python第4季第13篇
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
09-27 1万+
在第一季滚雪球学 python 中，我们已经接触了 python 操作 sqlite，本篇博客为你介绍 python 与 mysql 和 nosql 之间的故事。 在正式学习之前，先确保你电脑上已经安装了 mysql 。 mysql 的安装博客：补充知识：2021年mysql最新windows安装教程，滚雪球学python第四季。 mysql 一些简单命令 对于 mysql 的细致学习，咱们应该单独开一个系列，这个 flag 先立下了，本文为了学习 python 操作 mysql 数据库，只能先做一些基本
解决python存入json格式数据到数据库后汉字的unicode编码没有反斜杠的方法
finny7的博客
10-08 1106
python在数据库中存入json格式数据的时候，会遇到一个问题，汉字会转义为unicode，然后存入数据据库后\反斜杠没有了，最直接简单的方法，就是不让json.dumps进行转义。 具体方法： 想要不转义就给json.dumps添加参数 ,ensure_ascii=False ...
Python爬取数据保存为json文件时，中文转为\u的乱码
weixin_50887531的博客
05-18 2917
刚开始以为是爬取的response没有正确的编码格式 添加下面这条编码之后还是不行 response.encoding='utf-8' 然后以为是response转成json文件的时候编码错误，添加了encoding=‘utf-8’ assign = response.json(encoding='utf-8') 也还是不行，就打印了assign看了一下，发现中文并没有乱码，所以应该是json文件保存的时候出现了问题。 上网查找后，json.dump()添加一句 ensure_ascii=Fa
python中mysql和utf-8乱码问题
Waleking的专栏
04-30 6796
用PyDev开发数据库读写程序，数据库是mysql，用utf-8字符集。 有开发者在 http://blog.csdn.net/foyuan/article/details/1711100 提到： “我用了下面几个措施，保证MySQL的输出没有乱码：     1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)     2 MySQL数据库ch
python处理json数据 乱码报错_python操作mysql中文显示乱码的解决方法
weixin_35723352的博客
01-29 222
本文实例展示了一个脚本python用来转化表配置数据xml并生成相应的解析代码。但是在中文编码上出现了乱码，现将解决方法分享出来供大家参考。具体方法如下：1. Python文件设置编码 utf-8 (文件前面加上 #encoding=utf-8)2. MySQL数据库charset=utf-83. Python连接MySQL是加上参数 charset=utf84. 设置Python的默认编码为 u...
PureXXX使用手记
weixin_30536513的博客
09-02 407
PureXXX常年有2年优惠，目前3.25美元/月即两年78$(516.86元)。 免费试用期：7天退款保证。 可同时连接的设备数量：5台设备。 支付宝购买后，进入其Member Area，主菜单中看不到退款，经在线客服了解需访问退款，如不会英文且不问客服基本是找不到这个位置的，这是一个坑。购买前请仔细阅读其退款政策，防止无法退款再入坑。 Windows安装其客户端，用注册邮箱...
字符编码笔记汇总：ASCII、GBXXXX、Unicode、UTF-8等
程序猿成长室
09-16 4239
字符编码笔记汇总：ASCII、GBXXXX、Unicode、UTF-8等 版权声明：本文系个人经多处资料学习、吸收、整理而得，如需转载，请注明出处：作者名+链接。 内容说明：本系列内容大致包括基本概念(字符集、字符编码)、常用字符集和字符编码(ASCII、GB系列、UniCode等)、乱码原因及解决方案、Python内字符编码的相关处理。 （含大小端说明） 关键词：字符编码
python存成csv文件时中文乱码_Python在向CSV文件写中文时乱码的处理办法
weixin_39997696的博客
12-06 1154
前言python2最大的坑在于中文编码问题，遇到中文报错首先加u，再各种encode、decode。当list、tuple、dict里面有中文时，打印出来的是Unicode编码，这个是无解的。对中文编码纠结的建议尽快换python3吧，python2且用且珍惜！csv中文乱码1.open打开csv文件，用writer写入带有中文的数据时writer写入单行writers写入多行# coding:u...
python调用第三方接口获取数据并将数据存入mysql_requests从api中获取数据并存放到mysql中...
weixin_39705435的博客
12-19 1375
python的requests库是一个非常强大的库，requests的安装方法十分简单，用:pip install requests即可安装requests，安装成功后：import requests即可导入requests模块，requests有get和post两种方法：1、requests.get()用法:url = "http://xxx"a_content = requests.get(u...
FreeBSD常用命令110条
snrnjhna的博客
09-12 4765
01.查看网络流量 a.systat -if 1 （1表示1s刷新屏幕一次） b.netstat 1 # Traffic 流量 peak 峰值 average 平均值 02.查看硬盘信息 diskinfo -vt /dev/ad0 disklable /dev/ad0 (分区信息) disklable /dev/ad0s2 03.查看核心信息 vmstat 1 04.查看进程
64位win7环境eclipse集成svn后出现Failed to load JavaHL Library的解决办法
热门推荐
10-27 5万+
出现错误“Failed to load JavaHL Library”的绝大多数情况是使用的Linux环境，在Linux环境中使用eclipse集成svn，会出现这个情况。网上很多处理Linux下出现这种错误的办法此处就不列出了，仅提供一个参考URL：http://www.cnblogs.com/feng_013/archive/2010/07/22/1783228.html 同样的错误提示
spring mysql utf-8_面试官问：为什么 MySQL 中的 utf8 并不是真正的 UTF-8 编码？
weixin_39663593的博客
01-19 275
>>号外：关注“Java精选”公众号，菜单栏->聚合->干货分享，回复关键词领取视频资料、开源项目。记得去年我在往MySQL存入emoji表情????????时，一直出错，无法导入。后来找到办法 -- 通过把utf8改成utf8mb4就可以了，并没有深究。一年后，我看到一篇文章讲到emoji文字占4个字节，通常要用utf-8去接收才行，其他编码可能会出错。我突然想到去年操作MySQL...
报错处理：Python操作Mysql数据库插入中文错误
石山下
09-04 2871
学习《python网络爬虫从入门到实践》中遇到以下错误： Incorrect string value: '\xE7\xA8\x8B\xE5\xBA\x8F...' for column 'course' at row 1 出现这个错误的原因是，数据库的编码格式为latin1 而我要将utf8的中文插入到数据库中。 一开始修改  修改数据库的编码 alter table score de...
python写入mysql时候 出现'latin-1' codec can't encode character 问题解决方法 以及python设置utf-8...
weixin_34337381的博客
04-14 340
第一次用python写点东西，在捣鼓半天了解了下关于数据库操作，但是在写入数据库时出现'latin-1' codec can't encode character in position 1-4 异常 看到latin-1，不负责猜想是关于编码的问题，于是想到python在刚试验时候关于utf-8的问题 解决办法： 在连接数据库代码中加入编码设置： conn=MySQLdb.connect(...
python 解析类似 '\xe4\xb8\xad\xe5\x9b\xbd'的unicode码为汉字
mighty13的专栏
09-13 3万+
#基础知识以Python2.7为例，以iPython样式演示In [1]:s='中国' In [2]:s Out [2]:s='\xe4\xb8\xad\xe5\x9b\xbd' In [3]:s=u'中国' In [4]:s Out [4]:s=u'\u4e2d\u56fd' In [1]:s='\xbe\xdc\xbe\xf8\xb7\xc3\xce\xca\xa1\xa
mysql输入中文出现ERROR 1366
weixin_33700350的博客
04-01 255
mysql输入中文出现如下错误： ERROR 1366: 1366: Incorrect string value: '\xE6\xB0\xB4\xE7\x94\xB5...' for column 'introduce' at row 1 这是因为mysql编码的问题 打开mysql mysql -u root -p...
197号资源-源程序：（SCI论文+程序）ACES： 使用卡尔曼滤波的自适应时钟估计和同步-本人博客有解读
最新发布
09-25
该资源详细解读可关注博主免费专栏《论文与完整程序》197号博文 跨网络的时钟同步对于包括有线网络在内的大量应用传感器网络中数据融合的测量。早些时候技术要么局限于令人不快的准确性，要么依赖于关于可能无用的特定硬件特性-可用于某些系统。在这项工作中，我们研究了资源受限网络中的时钟同步问题例如无线传感器网络，其中节点具有有限的能量和带宽，也缺乏高AC-精准振荡器或可编程网络接口以前的协议依赖于。本文推导出了一个新的概念--时钟偏移量和偏差的外设模型，并演示了其适用性。在此基础上设计了高效的算法在给定LIM的情况下实现高同步精度的模型有限的资源。这些算法将卡尔曼滤波应用于跟踪时钟偏移量和偏差，并自适应地调整同步间隔，以便所需的误差界都实现了。我们展示了性能优势我们的方案通过广泛的模拟来遵守真实的-世界的制约因素。
处理不确定编码的C字符串：Python优雅应对错误UTF-8数据
例如，你可以使用`codecs.decode()`尝试以UTF-8解码字符串，同时设置错误处理策略，如`'ignore'`或`'replace'`，以优雅地处理无法解码的字节。 在Python中，可以这样实现： ```python import codecs def decode_c...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值