wordexpansion包 | 新增词向量法构建领域词典

2021暑期 | 结构模型、Stata实证前沿、Python数据挖掘暑假工作坊

腾讯课堂 | Python网络爬虫与文本分析

一、项目意义

情感分析大多是基于情感词典对文本数据进行分析，所以情感词典好坏、是否完备充足是文本分析的关键。

目前常用的词典都是基于形容词，有

• 知网HowNet

• 大连理工大学情感本体库

但是形容词类型的词典在某些情况下不适用，比如

华为手机外壳采用金属制作，更耐摔

由于句子中没有形容词，使用形容词情感词典计算得到的情感得分为0。但是耐摔这个动词具有正面积极情绪，这个句子的情感的分理应为正

可见能够简单快速构建不同领域(手机、汽车等)的情感词典十分重要。但是人工构建太慢，如果让机器帮我们把最有可能带情感的候选词找出来，人工再去筛选构建词典，那该多好啊。那么如何快速自动的新建或者扩充词表呢？

二、构建思路

• 共现法，参考https://github.com/liuhuanyong/SentimentWordExpansion

• 词向量，参考https://github.com/MS20190155/Measuring-Corporate-Culture-Using-Machine-Learning

2.1 共现法扩充词表

计算机领域有一个算法叫做SO_PMI，互信息。简单的讲个体之间不是完全独立的，往往物以类聚，人以群分。如果我们一开始设定少量的

• 初始正面种子词

• 初始负面种子词

程序会按照“物以类聚人以群分”的思路，

• 根据初始正面种子词找到很多大概率为正面情感的候选词

• 根据初始负种子词找到很多大概率为负面情感的候选词

这个包原始作者刘焕勇，项目地址https://github.com/liuhuanyong/SentimentWordExpansion 我仅仅做了简单的封装

2.2 词向量扩充词表

共现法，词语之间的独立无相关性依然很强，依然认为词语与词语是不可以比较的。其实词语里潜藏着很多线索，例如中国传统文化中的金木水火土、性别(阴阳)等信息。例如