Miracle8070

1. 写在前面在多任务学习中，往往会将多个相关的任务放在一起来学习。例如在推荐系统中，排序模型同时预估候选的点击率和浏览时间。相对于单任务学习，多任务学习有以下优势：多个任务共享一个模型，占用内存量减少；多个任务一次前向计算得出结果，推理速度增加；关联任务通过共享信息，相互补充，可以提升彼此的表现。前面的一篇文章，主要是从模型结构的角度聊了下多任务学习，介绍了工业界非常经典也常用的MMOE模型，然而，对于多任务学习， Loss的优化也非常重要， 因为我们知道通过多个目标去指导网络进行统一的训练

1. 写在前面这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如:视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分；文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更

1. 写在前面今天整理的是SDM模型(Sequential Deep Matching Model)，依然是阿里团队在2019年CIKM上的一篇paper。和MIND模型一样，是一种序列召回模型，研究的依然是如何通过用户的历史行为序列去学习到用户的丰富兴趣。 对于MIND，我们已经知道是基于胶囊网络的动态路由机制，设计了一个动态兴趣提取层，把用户的行为序列通过路由机制聚类，然后映射成了多个兴趣胶囊，以此来获取到用户的广泛兴趣。而SDM模型，是先把用户的历史序列根据交互的时间分成了短期和长期两类，然后从短期

1. 写在前面今天整理的是MIND模型(Multi-Interest Network with Dynamic Routing)， 这是阿里团队2019年在CIKM上发的一篇paper，该模型依然是用在召回阶段的一个模型，解决的痛点是之前在召回阶段的模型，比如双塔，上一篇介绍的YouTubeDNN召回模型等，在模拟用户兴趣的时候，总是基于用户的历史点击，最后通过pooling的方式得到一个兴趣向量，用该向量来表示用户的兴趣，但是该篇论文的作者认为，用一个向量来表示用户的广泛兴趣未免有点太过于单一，这是作者

1. 写在前面这个系列很久没有更新了， 主要是前段时间经历了一波秋招， 后面的方向可能稍微偏数据挖掘和cv多一些，所以向这两块又稍微延展了一下，没来得及看推荐相关的论文，这次借着和如意大佬整理fun-rec项目的机会， 才重新又看起了之前一直想整理的经典模型， 对于推荐， 还是想把之前学习的知识沉淀下来的， 当然，可能后面的整理比较适合像我一样的初学者了吧，想法还是以经典paper解读为主， 学习一些新思想，并进行NLP, 推荐，cv， ML和DL等各种知识的串联。关于后面的整理， 我也梳理了一个思维框

1. 写在前面在推荐领域，我们往往也会听到建立什么倒排索引，方便查找啥的， 之前一直对这一块感觉很迷糊， 到底啥子叫倒排索引，啥子又叫正排索引， 建立倒排索引的意义在哪？ 所以这篇文章， 简单的通过查阅资料对这两个概念理解下。下面是我基于查的资料自己给出的理解哈，可能不一定对。正排和倒排索引，是文件检索系统领域比较重要的两种数据结构，而我理解，其实是两种为了高效查询而存在的两种不同的组织形式， 建立的是文档与单词之间的映射关系。正排索引: 文档->关键词之间的映射，也就是我们输入文档编号，

1. 写在前面这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会， 多看一些有关于特征交叉方向的模型paper， 把一些新的模型或者较为前沿的思想融入进来。 上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索， 通过SENET动态选择有用的交互特征， 然后再用一个双线性交互

1. 写在前面最近的任务需要用到排序性的模型了，也就是LearningToRank的排序算法，关于这种排序算法， 预测的目标并不是点击或者不点击这样的二分类问题， 而是一个列表的整体排列顺序，是一种list-wise的方法，有时候更加符合推荐的场景。之前也整理过一篇文章, 具体的可以参考。说到排序结果， 必然需要有指标用于评价排序结果的好坏，所以这篇文章的话主要是整理排序里面用到的常用评价指标，比如我们常听到的MRR(Mean Reciprocal Rank), MAP(Mean Average Pre

1. 写在前面从五月份的xdeepFM到现在，已经有一个多月的时间没有与推荐模型相关的paper了，说好的"小步快跑"呢？ 来到公司实习之后， 更一直抽不出时间来更新这个系列。不过，最近这段时间， 由于开始接触实际场景下的推荐小项目， 而实习生的话一般要从模型上手，所以这一周终于又有了时间开始玩推荐模型，并进行相应的魔改。 当然，来实习之后， 从前辈们的以及周围伙伴的交流中悟出了一个真理，在推荐系统甚至其他领域(CV,NLP)等，模型都只是工具而已，遇到问题解决问题的方法和策略才是王道， 那么我为啥还要坚

1. 写在前面这篇文章整理模型，不再使用华丽的前言外表， 也跳出了王喆老师书上的推荐模型， 从前面的各个模型的基础上开始尝试推荐系统领域各个方面的一些新探索和成果了， 后面的这个系列打算采用“小步快跑”的方式，每次研究一个模型，主要是基于原论文和一些不错的博客，然后通过一篇文章把细节进行梳理，这样既兼顾论文总结，也能保持短期更新，逼迫自己快速学习和输出。 但是为了整理清楚每篇论文里面的细节和完成知识的串联，篇幅上可能依然不会减太少，当然，也是视情况而定， 重要的模型多整理(理论和代码)， 不太重要的简单总

1. 写在前面这篇文章整理模型，不再使用华丽的前言外表， 也跳出了王喆老师书上的推荐模型， 从前面的各个模型的基础上开始尝试推荐系统领域各个方面的一些新探索和成果了， 后面的这个系列打算采用“小步快跑”的方式，每次研究一个模型，主要是基于原论文和一些不错的博客，然后通过一篇文章把细节进行梳理，这样既兼顾论文总结，也能保持短期更新，逼迫自己快速学习和输出。 但是为了整理清楚每篇论文里面的细节和完成知识的串联，篇幅上可能依然不会减太少，当然，也是视情况而定， 重要的模型多整理(理论和代码)， 不太重要的简单总

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 写在前面在最近新闻推荐的比赛中， 接触到了一个排序模型LGBMRanker， 该模型与普通的分类模型LGBMClassifier不太一样， 普通的分类模型在进行推荐的时候， 往往是先预测某个商品或者文章用户会不会点击， 也就是它的目标是预测用户点击某篇文章或者某个商品的概率， 然后根据这个概率值进行排序， 排完之后，把最靠前的几个返回回来给用户进行推荐。 而LGBRanker模型， 它不关心用户点击某篇文章的概率， 而是根据用户点击或者不点击的这个行为， 直接去预测最后商品或者文章的一个相对顺序，

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

1. 前言随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：信息消费者：如何从大量的信息中找到自己感兴趣的信息？信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协

㐇