python 处理movie-review-data遇到的UnicodeDecodeError 编码问题

问题描述：

下载了Bo Pang的主客观数据集，在使用py3 读取quote文件时，产生了错误，如下：

UnicodeDecodeError: 'gbk' codec can't decode byte 0x96 in position 4990: illegal multibyte sequence

问题分析：

显然是解码的问题，也就是使用 gbk 编码无法解码该文本位置为4990处的
字节内容。那就是我们需要找到这个文本的编码模式，才能解决这个问题；又或者我们把出现问题的这一段文本删除掉，这样也能解决问题（当语料不是很大的时候，这样也可能是个方法；不然的话，删除出问题的文本也件‘很不错的差事’）。

问题我们清楚了，我们就来解决它。

接下来，我们需要找到这个文本的编码方式。

解决问题

---

摸索阶段

搜索“