Skip-Thought词向量模型实现Sent2Vec

一、原理

skip-thought模型结构借助了skip-gram的思想。在skip-gram中,是以中心词来预测上下文的词;在skip-thought同样是利用中心句子来预测上下文的句子,其数据的结构可以用一个三元组表示 (st−1,st,st+1) ,输入值 st,输出值 (st−1,st+1),具体模型结构如下图:

    

二、实践

使用预训练好的Skip-Thought提取文本特征

1)Dependencies

我的电脑环境是Ubuntu 16.04,python2.7,需要在Theano 0.7运行

打开终端

pip install theano

2) Git 作者github上代码

https://github.com/ryankiros/skip-thoughts

3)下载预训练好的模型及word embedding文件(>5G),并放在skip-thoughts文件下

wget http://www.cs.toronto.edu/~rkiros/models/dictionary.txt
wget http://www.cs.toronto.edu/~rkiros/models/utable.npy
wget http://www.cs.toronto.edu/~rkiros/models/btable.npy
wget http://www.cs
  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值