UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

最近在学python3一直遇到这个错误,在网上查了很多,说是windows系统的问题云云。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @Time:2018/5/4 17:11
# @Author: wardseptember
# @File: GenWordCLoud.py
import jieba
import wordcloud
#f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8',errors='ignore')
f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8')
ftxt=f.read()
f.close()
lx=jieba.lcut(ftxt)
txt=" ".join(lx)
w=wordcloud.WordCloud( font_path = "C:/Windows/Fonts/msyh.ttc",width=1000,height=700,background_color='white',\
                      )
w.generate(txt)
w.to_file('test.png')


此程序执行之后出现错误,说是无法转成utf-8。

解决方法:
将utf-8改成gbk

f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='gbk')

运行程序结果如下,不再报错。
这里写图片描述

utf-8与gbk的区别与联系:
字符均使用双字节来表示,只不过为区分中文,将其最高位都定成1。
至于UTF-8编码则是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。对于英文字符较多的论坛则用UTF-8节省空间。
GBK包含全部中文字符;UTF-8则包含全世界所有国家需要用到的字符。
GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准(好像还不是国家标准)
UTF-8编码的文字可以在各国各种支持UTF8字符集的浏览器上显示。
比如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,而无需他们下载IE的中文语言支持包。 所以,对于英文比较多的论坛 ,使用GBK则每个字符占用2个字节,而使用UTF-8英文却只占一个字节。
UTF8是国际编码,它的通用性比较好,外国人也可以浏览论坛,GBK是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大

在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值