基于meta-path的异质网络Embedding-metapath2vec

metapath2vec: Scalable Representation Learning for Heterogeneous Networks

metapath2vec https://dl.acm.org/citation.cfm?id=3098036是17年发表的,使用基于meta-path的随机游走重构节点的异质邻居,并用异质的skip-gram模型求解节点的网络表示。DeepWalk 是同质网络中的表示学习方法,并不能直接应用到异质网络。比如:并不能解决多种类型节点的“word-context”对的问题,异质网络中的random walk问题。

本文提出了两种模型,metapath2vec 和 metapath2vec++。模型框架如下图所示:

这里写图片描述

  • Heterogeneous Skip-Gram
    对于一个 |TV|>1 的异质网络 G=(V,E,T)(ϕ:VTV,ψ:ETE) ,metapath2vec通过skip-gram模型学习网络表示。给定一个节点v, 它最大化节点的异质上下文(context) Nt(v),(tTV)
    argmaxθvVtTVctNt(v)p(ct|v;θ)(1)

条件概率 p(ct|v;θ) 定义为soft-max函数 p(ct|v;

  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Word2vec-BiLSTM-CRF是一种用于命名实体识别(NER)的神经网络模型。它结合了三个不同的层:Word2vec嵌入层、双向长短时记忆网络(BiLSTM)层和条件随机场(CRF)层。Word2vec嵌入层将每个单词转换为向量表示,BiLSTM层将这些向量作为输入并学习上下文信息,最后CRF层将BiLSTM层的输出作为输入并进行标记预测。 以下是Word2vec-BiLSTM-CRF模型的基本步骤: 1. 将每个单词转换为向量表示,这可以使用预训练的Word2vec模型来完成。 2. 将这些向量作为输入传递给BiLSTM层,该层将学习上下文信息并生成相应的输出。 3. 将BiLSTM层的输出作为输入传递给CRF层,该层将对每个标记进行预测,并使用Viterbi算法来找到最佳标记序列。 以下是一个使用Python和Keras实现Word2vec-BiLSTM-CRF模型的示例: ```python from keras.models import Model, Input from keras.layers import LSTM, Embedding, Dense, TimeDistributed, Dropout, Bidirectional from keras_contrib.layers import CRF import numpy as np # 定义模型输入 input = Input(shape=(MAX_LEN,)) # 添加Word2vec嵌入层 model = Embedding(input_dim=len(word2idx), output_dim=EMBEDDING_DIM, input_length=MAX_LEN, weights=[embedding_matrix], trainable=False)(input) # 添加双向LSTM层 model = Bidirectional(LSTM(units=HIDDEN_UNITS, return_sequences=True, recurrent_dropout=0.1))(model) # 添加Dropout层 model = Dropout(0.1)(model) # 添加全连接层 model = TimeDistributed(Dense(units=NUM_TAGS, activation="relu"))(model) # 添加CRF层 crf = CRF(NUM_TAGS) out = crf(model) # 定义模型 model = Model(input, out) # 编译模型 model.compile(optimizer="rmsprop", loss=crf.loss_function, metrics=[crf.accuracy]) # 训练模型 model.fit(X_train, np.array(y_train), batch_size=BATCH_SIZE, epochs=EPOCHS, validation_split=0.1, verbose=1) # 预测标记 y_pred = model.predict(X_test) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值