![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器不学习
文章平均质量分 93
开设本专栏主要为总结一些自己平时读过的论文,主要包括:变分推断,机器学习,数据挖掘,推荐系统等各大领域顶会的paper。
优惠券已抵扣
余额抵扣
还需支付
¥59.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
Marcus-Bao
这个作者很懒,什么都没留下…
展开
-
Collaborative Translational Metric Learning论文小结(附核心pytorch代码)
前言在之前得专栏文章中,我们介绍过一种将度量学习引入推荐系统的方法Collaborative Metric Learning(CML)论文总结。其主要的motivation就是说传统的基于点积的矩阵分解方法不满足三角不等式,因此不是一个好的度量方式,会存在一些问题。对此,CML的解决思路是将用户和商品投影到欧几里得空间,然后用欧几里得距离来度量用户对不同商品的偏好。那么CML就是完美的吗?显然是不可能的。 CML的出现后,涌现了一系列的基于度量学习的推荐算法,大部分都是对原CML的改进和提高,我会慢慢原创 2021-09-12 21:53:07 · 381 阅读 · 0 评论 -
长尾序列用户行为建模中可转移参数的学习(KDD-2020)
本文给大家分享的是阿里和浙大合作发表在KDD-2020上的文章《Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling》,提出从梯度对齐和对抗训练两方面来缓解序列建模任务中的长尾问题。该文章首发于本文微信公众号: 长尾序列用户行为建模中可转移参数的学习(KDD-2020),扫码关注第一时间获取更多资讯:Introduction & Motivation序列推荐的结果很大程度上取.原创 2021-02-05 21:58:41 · 454 阅读 · 0 评论 -
SIGIR‘20阿里巴巴利用Domain Adaptation在long-tail item上的实践
SIGIR’20阿里巴巴利用Domain Adaptation在long-tail item上的实践Domain Adaption应该是前几年CV里比较火的topic,这几年在推荐里也逐渐被应用了。。。 本文给分享的是阿里巴巴在SIGIR’2020上的一篇文章——《ESAM: Discriminative Domain Adaptation with Non-Displayed Items to Improve Long-Tail Performance》利用DA解决long-tail问题,提升模型表现原创 2021-01-23 00:40:37 · 1416 阅读 · 0 评论 -
2020年精排模型调研
❝本文经作者同意转载自: https://zhuanlan.zhihu.com/p/335781101作者: Ruhjkg编辑: MarcusBao谢绝任何形式的二次转载!❞2020年精排模型调研前言最近由于工作需要调研了一下2020年关于精排模型的进展。在广告推荐领域的CTR预估问题上,早期以LR+人工特征工程为主的机器学习方法,但由于人工组合特征工程成本较高,不同任务难以复用。后面FM因子分解机提出了二阶特征自动交叉解决了人工组合特征的难题。之后2014年Facebook 提出GBDT+L转载 2021-01-17 19:40:11 · 1407 阅读 · 1 评论 -
什么是Sequential Recommendations?关于Sequential Recommendations的全面调研!
本文参考自论文《Sequential Recommender Systems: Challenges, Progress and Prospects》,是对其翻译和总结。关于SeqRec我也分享过不少的文章,也进行过简单的总结,可以看深入探寻《Self-Attentive Sequential Recommendation》ICDM‘18.摘要本文首先介绍了Sequential Recommender Systems(SRSs)的特点,然后对该领域面临的主要挑战进行了总结和分类,接着介绍了该领域最.原创 2021-01-17 00:06:42 · 459 阅读 · 0 评论 -
Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering (Nips‘20) 论文小结
摘要在基于隐式反馈的协同过滤中,负采样(negative sampling)是从大量的unlabeled data中获取负样本标签比较常用和流行的方法。然而,负采样的效率和有效性这两个问题仍然没有被很好的解决,因为它们使用比较复杂的结构,并且忽视了 false negative样本的风险。本文首先通过实验观察,提供了一个关于负样本比较新颖的理解。作者发现,在模型学习过程中只有一小部分样本比较重要,并且假负例(FN)在许多训练迭代中倾向于有稳定的预测。基于此发现,作者提出了一个Simplify and Ro原创 2021-01-15 21:22:26 · 502 阅读 · 0 评论 -
A Univariate Bound of Area Under ROC 论文小结
本文想给大家分享的是《A Univariate Bound of Area Under ROC》论文。还是那句话水平有限,大家多多包涵,非常欢迎任何形式的讨论,大家共同学习共同进步。码字不易,喜欢就请大家点赞、收藏、转发三连吧!蟹蟹大家的支持,后面我也会把整个系列总结到一起更新到公众号!欢迎大家关注,转发,分享三连!Abstract & Intro...原创 2020-12-26 20:46:53 · 206 阅读 · 0 评论 -
Positive&Unlabeled Data Learning——第四弹(Semi-Supervised Classification/AUC Optimization)
PU Learning系列目录目录第一弹 PU Learning简介以及关于论文《Learning Embeddings From Positive Unlabeled Data with BGD》的分享第二弹 关于论文《Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training》的分享,文章主要用到了自步学习,meta-learning,以及知识蒸馏。第三弹 关于论文《Positive-Unlabeled Learning w原创 2020-12-18 00:23:58 · 359 阅读 · 0 评论 -
Positive&Unlabeled Data Learning——第三弹 (Positive-Unlabeled Learning with Non-Negative Risk Estimator)
PU Learning系列目录目录第一弹 PU Learning简介以及关于论文《Learning Embeddings From Positive Unlabeled Data with BGD》的分享第二弹 关于论文《Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training》的分享,文章主要用到了自步学习,meta-learning,以及知识蒸馏。本文是第三弹,关于文章《Positive-Unlabeled Learni原创 2020-12-02 00:22:16 · 1097 阅读 · 0 评论 -
Positive & Unlabeled Data Learning——第二弹 (Self-PU)
写在前面拖更了好久的PU-Learning的第二弹终于来了,最近事情炒鸡多,再加上尝试了自己的几个idea发现目前都不太work啊,都快要崩溃了= =. 利用这段时间更新点水文,调整下自己。。。。接下来,自己要介绍的文章和之前的文章不同的是,本文更多的是关注"How to do PU Learning?", 怎样做就会存在各式各样的有趣的方法了!而之前的文章更多的是采用简单的PU Learning学习方法,并且argue 使用全样本会带来更多的监督信息,但是要解决学习速度的问题。希望大家还是要了解在解决问原创 2020-11-30 00:05:32 · 654 阅读 · 0 评论 -
Positive & Unlabeled Data Learning——第一弹
Positive & Unlabeled Data Learning(第一弹)最近做的东西遇到了瓶颈,最近想从PU Learning这寻找一点灵感,所以接下来打算开个专题,陆续记录下自己最近看到的PU learning的文章。水平有限,非常欢迎大家可以多交流,讨论,一起进步!所谓PU learning就是说我们收集得到的数据一般只有positive-only data,也就是说只有正样本,和一些没有标注的unlabeled data,对于这部分未标注的数据我们不清楚它到底是negative 还是原创 2020-10-15 22:45:23 · 734 阅读 · 0 评论 -
Disentangled Self-Supervision in Sequential Recommenders(KDD‘20)论文小结
《Disentangled Self-Supervision in Sequential Recommenders》是清华大学崔鹏老师和阿里巴巴杨红霞合作发表在KDD2020上的论文,该论文的最大亮点就是argue了当下sequential recommendation中比较流行的seq2item的监督训练方法,并提出了一种有效的基于seq2seq的训练方法对传统的seq2item进行补全,读过之后大受启发。关于sequential recommendation的简单介绍可以看我之前的深入探寻《Self-原创 2020-09-11 23:29:26 · 1202 阅读 · 0 评论 -
Gaussian Affinity Loss (ICCV19)论文小结
今天继续记录的是关于imbalance class learning的paper,ICCV19的affinity loss:Paper关于这篇文章只找到一个unofficial code:CodeContribution & Motivation文章中介绍了一个混合的损失函数,它通过这一单一的损失函数同时进行分类和聚类。 该方法基于欧几里得空间中的"affinity measure",可以带来诸多好处:可以直接对分类的boundary实施maximum margin 限制一种易于操作的原创 2020-08-21 13:20:09 · 683 阅读 · 0 评论 -
Equalization Loss论文小结(CVPR2020)
接上一篇BAGS小结(CVPR2020 Oral Paper)今天继续分享一篇有意思的paper,关于长尾分布下的目标检测问题。CodeEqualization Loss for Long-Tailed Object Recognition该方法主要关注large-scale目标检测数据集上的长尾分布问题,在最新的LVIS数据上达到了SOTA,是LVIS Challenge冠军。所提出的方法不仅可以应用到目标检测,作者还给出了一种基于softmax分类的EQLoss,很有趣。所谓长尾分布,简原创 2020-08-07 00:01:28 · 821 阅读 · 0 评论 -
Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax(CVPR20)
论文代码近几年,关于long-tailed或imbalanced problem在各个领域都受到持续关注,cvpr、iccv等会议也一直有关于相关问题的topic。最近,偶然读到了几篇关于解决该问题的比较有意思的文章,于是就简单记录一下。这篇文章BAGS是针对object detection中的long-tailed问题(LVIS 2019 challenge数据集),本人不是做cv的,但是实验中发现其迁移到其他imbalanced classification上同样适用。Introduction作原创 2020-08-03 14:54:23 · 888 阅读 · 0 评论 -
深入探寻《Self-Attentive Sequential Recommendation》ICDM‘18
本文我们主要致力于解决以下几个问题:本文的motivation/contribution是什么?实验细节以及实验效果如何?具体的应用场景?本文存在什么不足?在本文的最后,我将针对以上问题简单谈谈自己的拙见,欢迎大家一起在评论区留言谈论。言归正传,带着上面四个问题,让我们一起探寻《Self-Attentive Sequential Recommendation》,SASRec背后的秘密!谈谈序列推荐由于自己是第一次给大家分享序列推荐的文章,所以本着对我自己的读者负责的态度,还是要花点篇.原创 2020-07-11 00:16:58 · 4363 阅读 · 0 评论 -
Attention Is All You Need论文详解与理解
研究背景、动机深度学习做NLP问题的方法,大多基本上是先将句子分词,然后将每个词转化为对应的词向量序列,于是每个句子就都对应一个词嵌入矩阵X=(x1,x2,...,xt)X=\left(x_1,x_2,{...,x}_t\right)X=(x1,x2,...,xt),其中xix_ixi代表着第i个词的词向量,维度为d。因此,我们的问题就自然转化为如何编码这些序列信息了。在Transformer该论文提出之前,几乎所有主流的翻译模型或者NLP模型都是建立在复杂的循环神经网络(Recurrent N原创 2020-07-03 20:19:27 · 719 阅读 · 0 评论 -
Variational Inference with Normalizing Flows 论文小结
变分推断中,用于近似的后验分布的选择是变分推断的核心问题。大多数的变分推断的应用为了进行高效的推断都聚焦于简单的后验近似族,比如mean-field(平均场)或者简单的结构化近似。这一限制极大的影响变分推断方法的质量和性能表现。本文提出了一种新的方法来指定灵活的,任意复杂的和可伸缩的近似后验分布(也就是 normalizing flow)。该近似是通过normalizing flow构造的分布,通过一系列可逆变换(invertible transformation)将简单的初始密度函数转化为更复杂的密度函数原创 2020-06-24 23:06:22 · 1402 阅读 · 0 评论 -
Black Box Variational Inference论文小结
变分推断已经成为近似复杂模型后验分布的一种有效且广泛的方法。对于特定的模型,如果我们可以将其ELBO期望写成解析解的形式(比如指数家族分布,例如高斯分布),这种情况下我们可以采用变分推断的一般方法进行优化求解。然而对于更一般的模型和任意的变分分布,普通的变分推断方法就无法进行有效求解了.针对不同的模型我们可以设计模型特异性的求解方法,但是针对具体的问题设计特定的求解策略是一个费时费力的工作。David等人提出了 Black Box...原创 2020-05-23 01:07:04 · 851 阅读 · 1 评论 -
Extreme Learning to Rank via Low Rank Assumption论文解读
在推荐系统和网页搜索中为数十万的用户执行ranking是很常见的。学习单一的ranking function不可能捕捉所有用户的易变性,然而为每个用户学习一个ranking function 是很耗时的,同时也需要来自每个用户的大量数据。为了解决这个问题,本文作者提出了Factorization RankSVM算法,该算法通过学习k个基础的函数,然后为将这k个ranking function进行...原创 2020-05-01 23:29:05 · 390 阅读 · 0 评论 -
一文读懂开创性文章——贝叶斯个性化排序(BPR)
BPR绝对可以算是推荐系统领域的开创性文章之一,对于经典我们一定要好好体会和理解。BPR是一个基于pairwise的算法,在BPR之前大部分方法都基于pointwise的方法,这存在一定的问题,而BPR很好的缓解了这个问题(可以先去查阅下Learn to rank方法)。在有些推荐场景中,我们是为了在千万级别的商品中推荐个位数的商品给用户,此时我们更关注的是对用户来说,哪些极少数商品在用户心中有...原创 2020-04-27 00:14:40 · 1022 阅读 · 0 评论 -
Metric-Factorization Recommendation beyond Matrix Factorization论文干货
原文链接open source本文主要对度量分解这篇论文做一个翻译+总结.Abstract被我们熟知的基于矩阵分解(MF)的推荐系统得到了广泛的研究,并已成为最受欢迎的个性化推荐技术之一.然而基于內积的矩阵分解不满足不等式属性(CML中我们提到过的三角不等式),这可能限制了midel的表达并且可能导致次优解.本文中作者提出了度量分解,假定所有的users和items被embedding到...原创 2020-04-23 22:10:31 · 721 阅读 · 0 评论 -
Collaborative Metric Learning(CML)论文总结
论文问题介绍度量学习算法通过学习生成什么样的距离度量来帮助解决数据间的重要关系。传统的CF(主要以MF,TF为主)的方法只能学习到user-item之间的潜在关系而无法学习到user-user,item-item的Similarity。本文作者将传统的CF与Metric Learning相结合提出CML,学习到了user-item,以及user-user,item-item的similari...原创 2020-04-20 23:45:21 · 801 阅读 · 0 评论 -
A Scalable Probabilistic Tensor Factorization(SPTF)论文小结
SPTF具体来说还是基于张量分解TF的一种方法,同时也还是基于score learning的。介绍用户历史行为可以被分为两种类型: 显示反馈(explicit feedback)和隐式反馈(implicit feedback). explicit feedback包括用户关于他们感兴趣的item的显示输入,主要体现在对item的rating(评分)。但是explicit feedback并不总...原创 2020-04-20 23:39:06 · 430 阅读 · 0 评论