今天在训练word2vec时,本来昨天可以运行的代码突然报错:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 4929: invalid continuation byte
然后查了很多资料,都说是编码的问题,但我查看了所有文件以及源码的编码,都没有问题,后来找到了一个文章解决了问题
打开你报错的utils文件
修改函数参数errors='strict'为errors='ignore'
utils.to_unicode(text, encoding='utf8', errors='strict')
问题解决!