关于word2vec及文本相似性计算

关于word2vec及文本相似性计算

最近2个月主要涉及到对文本相似度计算方法的实验,用了 词频词袋模型、tfidf词袋表示、word2vec表示,利用一些标注好的数据对结果进行了检验,最终还是发现 tfidf相似度计算效果较好,但计算效率慢一些。
也看到很多人说word2vec在相关语义计算方面有优势,不知道是不是我训练的模型有问题。。。有了解的大牛麻烦指点


word2vec训练

用的是python gensim中的Word2Vec来做的

def model_train_word2vec():
    """
    训练word2vec
    :return:
    """
    #sentence=validation_data()
    model = gensim.models.Word2Vec(sentences=LineSentence("./data/news_train.txt"),size=1000,window=5,min_count=5,max_vocab_size=500000,workers=multiprocessing.cpu_count())
    model.save('./model/word2vec')

这边训练数据90万篇新闻,取得词向量为1000,词典最多为50W,其余算是默认。用的是CBOW算法,没有SG是因为训练过程中看到SG比CBOW慢上不少,就先训练出来看一看效果。词向量为1000这里是基于训练的500 600 800 1500的向量 在计算的时候发现 1000出来的结果最好。

TFIDF训练

import pickle
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(max_features=500000)
model = tfidf.fit_transform(sentences)#此处sentences为语料数据形式:[[],[],[]]
with open("./model/tfidf","wb") as w:
    pickle.dump(tfidf,file=w)

计算方法

都用了余弦相似度计算
TfIDF文本的表示 这里就不在多说 大家都知道
word2vec 表示 方法 我用的是 文本中 每个词的词向量加和平均,这里可能就是造成不如tfidf的原因之一吧:下面是class

import platform
from gensim.models.word2vec import Word2Vec
from similarity.distance import cosine,eculidean
#similarity模块是我自己封装的 就是普通的numpy实现的距离函数
OSNAME=platform.system()#获取当前操作系统名称
class WordToVec(object):
    def __init__(self):
        self.w2v = self.load_w2v()

    def load_w2v(self):
        if OSNAME.__contains__("Win"):
            filePath = ROOTPATH + "\\model\\model_w2v_1000"
        else:
            filePath = ROOTPATH + "/model/model_w2v_1000"
        return Word2Vec.load(filePath)

    def word2vec_transform(self, sentence):
        """
        word2vec 转化句子为向量
        :param w2v:
        :param sentence:
        :return:
        """
        size = self.w2v.layer1_size
        data = sentence.split(" ")
        length = len(data)
        vec = np.zeros(shape=(1, size), dtype=np.float32)
        for word in data:
            try:
                vec += self.w2v.wv[word]
            except:
                length -= 1
                continue
        vec = vec / length
        return vec

    def compute_cosine(self,s1,s2):
        vec1 = self.word2vec_transform(s1)
        vec2 = self.word2vec_transform(s2)
        return cosine(vec1,vec2)

聚类数据为:人工标注好的类别数据,共有35类
分词:jieba分词、基于tfidf值 提取文章TopK个关键词作为主体词
参考评测指标文章:中科院计算所一学位论文:《文本聚类分析效果评价及文本表示研究》
聚类的各项指标 与 分类的类似,主要有:
(1)基于人工标注的类簇F值:CF
(2)基于人工标注的文档查准、查全、F值:P,R,F
(3)基于各个类的熵:E
得到结果:
这里写图片描述
这里写图片描述
此结果 我的感觉是 有点奇怪,不知道为啥在小阈值范围 tfidf的F值较高…

PS:还做了word2vec WMD距离的实现,主要是简单的WCD距离,实践当中发现
WCD距离的结果 与 word2vec加和平均表示的欧式距离是一样的,回头看看WCD的数学公式是不是可推导到加和平均欧氏距离

后面的计划:
(1)考虑一下word2vec训练方面的优化
(2)文本表示方法的改进
(3)距离计算改进

再次拜求有相关经验的大牛指点!!!!!

  • 8
    点赞
  • 45
    收藏
    觉得还不错? 一键收藏
  • 9
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值