文本的embedding

本文探讨了使用word2vec和glove进行文本embedding的方法。通过加载预训练的词向量模型,将词转换为固定维度的向量。实验结果显示,glove在准确率上比word2vec高出8%。参考了相关的Keras模型整合预训练embedding的资源。
摘要由CSDN通过智能技术生成

使用:word2vec进行文本的embedding

VECTOR_DIR = 'GoogleNews-vectors-negative300.bin' # 词向量模型文件



from keras.utils import plot_model
from keras.layers import Embedding
import gensim
from gensim.models import Word2Vec
EMBEDDING_DIM = 300 # 词向量空间维度
w2v_model = gensim.models.KeyedVectors.load_word2vec_format(VECTOR_DIR, binary=True)
embedding_matrix = np.zeros((len(word_index) + 1, EMBEDDING_DIM))
for word, i in word_index.items(): 
    if unicode(word) in w2v_model:
        embedding_matrix[i] = np.asarray(w2v_model[unicode(word)],
                                         dtype='float32')
embedding_layer = Embedding(len(word_index) + 1,
                            EMBEDDING_DIM,
                            weights=[embedding_matrix],
                            input_length=500,

             

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值