[sentence encoder] 使用Skip-Thought Vectors在自己的数据集上训练一个sentence encoder

Skip-Thought Vectors

Skip-Thoughts 模型是一个句子编码器。它学习将输入的句子编码成固定维度的向量表示,这些向量表示能够对许多任务有用,例如检测释义,或对产品评论进行积极或消极的分类等等。

有关模型架构和更多示例应用的详细信息,可以参阅Ryan Kiros 等人的 NIPS 论文 Skip-Thought Vectors

用法

Skip-Thought Vector 已经被收录到了TensorFlow的model里面,在这里已经很详细的说明了该模型的用法。
从准备数据到训练模型以及测试作者都已经写的很详细了,但是作者在训练完过后用在Google News dataset上预训练的模型对Vocabulary进行了扩展,但是笔者在使用过程中想完全用自己的数据集进行训练,于是就跳过了这一步。
但是笔者在使用时发现,到Evaluating a Model这一步时找不到所需要的Embeddings file

解决方法

笔者在看了对Vocabulary进行扩展部分的源码,发现他其实有从checkpoint中获取embedding file 的方法࿰

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值