StarSpace: Embed All The Things! 笔记

StarSpace是Facebook开源的embedding工具,强调Embed All The Things。它不仅优化了word2vec,还引入了监督学习,使得不同类型的item能有意义地比较。通过调整sim函数和损失函数,StarSpace在推荐系统和文本分类等任务中表现良好。虽然模型简单,但未使用主流框架,适合单机使用。在实际应用中,StarSpace的端到端训练提升了效果,且其提供的query_nn工具方便查询和应用。
摘要由CSDN通过智能技术生成

StarSpace是facebook开源的一个新的embedding工具包,卖点就是Embed All The Things,也就是名字里star (指’*’通配符) 的含义。
官网 https://github.com/facebookresearch/StarSpace

word2vec有一些后续优化的变种,比如fasttext、starspace。fasttext最大的优化还是加入了subword,但对于中文其实没啥卵用。fasttext详细介绍我博客有。 starspace主要的贡献还是把supervised引入embedding过程,而且提供一些实际问题的处理思路和一个傻瓜代码方便快速实现prototype验证想法,下面具体介绍。

之前把StarSpace的论文打印出来,粗略看了一眼,貌似就是word2vec,再看了一眼,好像还是word2vec啊,说明没有看懂。

其实StarSpace的思路很简单,原始的w2v模型只管预测上下文(softmax分类问题),而StarSpace直接学出上下文两个item的embedding距离要相近。

核心全在这里
starspace

然后给出两个很重要的调参结论

sim函数有cosine similarity和inner product。一般用cosine

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值