python怎么训练模型_python – 如何训练sense2vec模型

我扩展并调整了sense2vec的代码示例.

你从这个输入文本：

“就沙特阿拉伯及其动机而言,这也非常简单.沙特人是

善于金钱和算术.面对亏本的痛苦选择

保持目前的产量为每桶60美元或减少200万桶

每天离开市场并损失更多的钱 – 这是一个简单的选择：采取

这条路不那么痛苦.如果有像伤害美国这样的次要原因

紧张的石油生产商或伤害伊朗和俄罗斯,这是伟大的,但它确实

只是钱.“

对此：

as | ADV far | ADV as | ADP saudi_arabia | ENT和| CCONJ its | ADJ motif | NOUN那个| ADJ是| VERB非常| ADV简单| ADJ也| ADV saudis | ENT | VERB好| ADJ at | ADP money | NOUN和| CCONJ算术| NOUN面临| VERB与| ADP painful_choice | NOUN | ADP失败| VERB货币| NOUN维持| VERB当前生产| NOUN at | ADP us $| SYM 60 | MONEY per | ADP桶| NOUN或| CCONJ采取| VERB两百万| CARDINAL桶| NOUN每| ADP日| NOUN关闭| ADP市场| NOUN和| CCONJ输掉| VERB much_more_money | NOUN它| PRON的| VERB easy_choice | NOUN采取| VERB路径| NOUN那个| ADJ是| VERB less | ADV痛苦| ADJ如果| ADP那里| ADV是| VERB secondary_reason | NOUN喜欢| ADP伤害| VERB我们| ENT tight_oil_producer | NOUN或| CCONJ伤害| VERB伊朗|耳鼻喉科和| CCONJ俄罗斯|耳鼻喉科| VERB很棒| ADJ但是| CCONJ it | PRON的| VERB真的| ADV只是| ADV关于| ADP钱| NOUN

>双换行符被解释为单独的文档.

> URL被识别为,被剥离到domain.tld并标记为| URL

>名词(也是名词是名词短语的一部分)被词形化(因为动机成为图案)

>删除带有诸如DET(确定文章)和PUNCT(用于标点符号)的POS标签的单词

这是代码.如果您有疑问,请告诉我.

我很快就会在github.com/woltob上发布它.

import spacy

import re

nlp = spacy.load