StarSpace: Embed All The Things! 笔记

StarSpace是facebook开源的一个新的embedding工具包,卖点就是Embed All The Things,也就是名字里star (指’*’通配符) 的含义。 官网 https://github.com/facebookresearch/StarSpaceword2vec有一些后续优化的变种,比如fasttext、starspace。fasttext最大的优化还是加入了su...
摘要由CSDN通过智能技术生成

StarSpace是facebook开源的一个新的embedding工具包,卖点就是Embed All The Things,也就是名字里star (指’*’通配符) 的含义。
官网 https://github.com/facebookresearch/StarSpace

word2vec有一些后续优化的变种,比如fasttext、starspace。fasttext最大的优化还是加入了subword,但对于中文其实没啥卵用。fasttext详细介绍我博客有。 starspace主要的贡献还是把supervised引入embedding过程,而且提供一些实际问题的处理思路和一个傻瓜代码方便快速实现prototype验证想法,下面具体介绍。

之前把StarSpace的论文打印出来,粗略看了一眼,貌似就是word2vec,再看了一眼,好像还是word2vec啊,说明没有看懂。

其实StarSpace的思路很简单,原始的w2v模型只管预测上下文(softmax分类问题),而StarSpace直接学出上下文两个item的embedding距离要相近。

核心全在这里
starspace

然后给出两个很重要的调参结论

sim函数有cosine similarity和inner product。一般用cosine

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值