word2vec生成词向量

先预处理,进行分词等

import jieba
from gensim.models import Word2Vec
stopword = [line.strip() for line in open('password.txt', 'r',encoding='utf-8').readlines()]
def seg_sentence(sentence):
    """"进行分词"""
    sentence_seged = jieba.cut(sentence.strip())  #分词
    stopwords = [' ']
    # # stopwords = stopwordslist('E:\\pythonimg\\stopword.txt')  # 这里加载停用词的路径  这里可以再加自定义的停用词
    outstr = ''   # 必须字符,不能列表
    for word in sentence_seged:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    # return outstr
    return outstr.split(' ')  # 以空格分割 列表

 生成词向量

def vec_produce(sentence,word,size):
    """生成词向量"""
    sentenceseg = seg_sentence(sentence) # 已分词可向量化的句子
    model = Word2Vec(sentences=[sentenceseg], vector_size=size, window=5, min_count=1, workers=4)
    word_vectors = model.wv
    wordvec = word_vectors[word]
    return wordvec

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值