python下字符编码和解码问题 UnicodeEncodeError 'gbk' codec can't encod

最新推荐文章于 2023-11-30 17:49:59 发布

小风花

最新推荐文章于 2023-11-30 17:49:59 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/hdfyhf/article/details/84141023

版权

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

先说说我为何出现了这个问题，因为学完爬虫后想拿豆瓣电影Top250练练手，这个是参考的链接(http://blog.csdn.net/fighting_no1/article/details/50926008)，该博客的代码几乎把豆瓣电影上的内容全解析了，于是我先保存代码到本地运行一下，结果是得到的excel文件不对，折腾了一天才知道是解析的网页中&nbsp这个特殊字符在进行转码时无法正确编码，

UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position

相信类似的问题大家都会遇到吧，要么是乱码，要么是直接这种类型的报错，其实归根究底是python字符编码和解码的问题，比如同样的python文件我在window下运行报上面的错误，ubuntu下就没事，都是这种编码解码原因。

先说下解决的办法，具体的原因可以参考这个篇博客，参考的原因解释链接，介绍的非常详细，我也不重复造轮子了就。

如果在window下运行，原因：
对于Unicode字符，需要print出来的话，由于本地系统是Windows中的cmd，默认codepage是CP936，即GBK的编码，所以python解释器需要先将上述的Unicode字符编码为GBK，然后再在cmd中显示出来。但是由于该Unicode字符串中包含一些GBK中无法显示的字符，导致此时提示“’gbk’ codec can’t encode”的错误的。

解决方法1：
在转换的时候必需进行一些前置动作

string.replace(u’\xa0’, u’ ‘)

将’\xa0‘替换成u’ ‘空格，这个\xa0就是那个html中的&nbps空格

解决方法2：
在对unicode字符编码时，添加ignore参数，忽略无法无法编码的字符，这样就可以正常编码为GBK了

print 你的字符串.encode(“GBK“, ‘ignore’);

主要参考的链接
 他的探索过程
 其他的次要参考的链接

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow

你好！这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G