【chp3】代码调试-车万翔-自然语言处理：基于预训练模型的方法

1. 由于下载的维基百科语料库体量太大，并且都是中文，所以在pycharm中updating indexes非常非常久都无法完成编制索引，因此，下载的语料不要放在project中，而是放在chp3文件夹的外面，这样就不会进行索引了。

2. json错误，去掉后缀即可

# converter = opencc.OpenCC("t2s.json")
converter = opencc.OpenCC("t2s")

4. GBK错误

f_in = open(sys.argv[1], "r", encoding="utf-8")

# print(需要打印的数据.encode(‘GBK’,‘ignore’).decode(‘GBK’))
print(line_t2s.encode('GBK','ignore').decode('GBK'))

5. 最后在终端中执行

python .\chp3-new\convert_t2s.py .\wiki-text\AD\wiki_07 > output_file_zyy

就可以看到output文件中是简体中文。

下载的语料库下载链接如下：
链接：https://pan.baidu.com/s/1opkdj-skr8VmjsW2UEd06A
提取码：1024
–来自百度网盘超级会员V6的分享