Windows Python Sentencepiece

这边简单介绍一下Windows 下如何使用sentencepiece（主要方便自己使用）

1.首先是通过python安装对应的的源码库（python还是很方便的），通过以下命令直接在终端运行即可安装。

pip install sentencepiece

2.安装完成后在py文件调用查看是否安装成功（能成功调用即安装成功）

3 .通过导入txt文件训练自己的模型（红框部分是我在网上找的一份西游记的txt）

 参数介绍：

--input:每行一行的原始语料库文件。不需要运行标记器，规范化或预处理器。默认情况下，sentencepece使用Unicode NFKC对输入进行规范化。您可以传递一个以逗号分隔的文件列表。
--model_prefix: 输出模型名称前缀。< model_name >。模型和<model_name>。生成词汇表。
--vocab_size: 词汇量，例如，8000、16000或32000
--character_coverage:对于像日语或中文这样字符集丰富的语言，默认值为0.9995;对于其他字符集较少的语言，默认值为1.0。
--model_type: 模型类型。从单字符(默认)、bpe、char或word中选择。在使用词类型时，必须对输入句子进行预标记。

4.完成第三步图中内容后直接运行程序即可，具体效果如下：

5. 训练完成后会生成对应文件

6.调用刚刚训练好的模型文件

参考链接