在window下使用gemsim.models.word2vec.LineSentence加载语料库文件的格式要求

在window下使用gemsim.models.word2vec.LineSentence加载语料库文件的格式要求

class LineSentence(object):
    """Iterate over a file that contains sentences: one line = one sentence.
    Words must be already preprocessed and separated by whitespace.

一行为一句话并且每个单词之间都用空格隔开

 

https://www.cnblogs.com/jiangxinyang/p/10411595.html

 

中文的或者英文的文章都可以，一般要经过预处理才能使用，将文本语料进行分词，以空格,tab隔开都可以。

https://www.jianshu.com/p/7afe87552c62