中文停用词文档_基于word2vec训练专有的中文词向量

“ 词向量是词汇表的单词和短语和实数向量的映射结果，词向量已经被证明可以提高NLP任务的性能，有助于更好的完成语法分析和情感分析。本文主要是基于开源的工具完成一个定制化的词向量的训练。”

01

—

词向量的定义

词向量(Word embedding)，又叫Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。

生成这种映射的方法包括神经网络，单词共生矩阵的降维，概率模型，可解释的知识库方法，和术语的显式表示单词出现的背景。

当用作底层输入表示时，单词和短语嵌入已经被证明可以提高NLP任务的性能，例如语法分析和情感分析

百度百科

02

—

中文分词

国内主流的中文分词工具

• jieba(结巴分词)                         免费使用

• HanLP(汉语言处理包)              免费使用

• SnowNLP(中文的类库)             免费使用

• FoolNLTK(中文处理工具包)      免费使用

• Jiagu(甲骨NLP)                        免费使用

<