迁移学习
iwtbs_kevin
曾在快手/阿里实习,现在字节跳动data担任推荐算法工程师
展开
-
【持续更新】迁移学习在推荐中的应用
迁移学习在推荐领域的应用ESMMMMOEMOSEMiNet背景模型思考之前在阿里实习的时候课题就是用迁移学习来赋能推荐。首先谈谈迁移学习是什么——简单来说就是利用源域数据来解决目标域的问题。那为什么要用它——很多时候是因为目标域数据量不够或者效果不好,通过迁移学习,目标域中的数据稀疏和冷启动问题都能得到缓解。如果对推荐算法有了解话,很快会想到ESSM和MMOE这种多任务学习的算法,确实这也是推荐场景下最广为人知的算法,多任务学习就可以认为是迁移学习的一种。除此之外,最简单的fine-tune结构属于迁原创 2020-11-18 17:16:55 · 1423 阅读 · 0 评论 -
迁移学习在推荐中的应用——腾讯PeterRec框架
文章目录为什么用迁移学习问题与挑战腾讯看点是怎样做的空洞卷积神经网络模型补丁取得的效果方法细节预训练微调实验结果无监督预训练微调代码实践开源代码为什么用迁移学习大量的研究根据建模的用户-物品交互序列生成推荐,效果也不错。但是很少有研究尝试表征和迁移这些模型从而用于下游任务,而数据样本通常是比较有限的,所以会考虑能否通过迁移学习,学习一个通用用户表征,并且将该用户表征应用到下游任务中,例如冷启动用户场景和用户画像预测等问题与挑战尝试以一种无监督训练方式预训练一个神经网络,然后将此神经网络迁移到下游任务原创 2020-05-26 21:08:02 · 1379 阅读 · 1 评论 -
《迁移学习简明手册》阅读笔记——特征选择
文章目录特征选择主要思想SCL 方法子空间学习统计特征对齐SA 方法SDA 方法CORAL 方法特征选择主要思想源域和目标域中均含有一部分公共的特征,在这部分公共的特征上,源领域和目标领域的数据分布是一致的。因此,此类方法的目标就是,通过机器学习方法,选择出这部分共享的特征,即可依据这些特征构建模型SCL 方法作者将这些公共的特征叫做 Pivot feature。找出来这些 Pivot feature,就完成了迁移学习的任务Pivot feature 指的是在文本分类中,在不同领域中出现频次较原创 2020-05-26 20:33:37 · 1151 阅读 · 0 评论 -
《迁移学习简明手册》阅读笔记——数据分布自适应
文章目录概念边缘分布自适应基本思路TCA解法总结概念数据分布自适应是一类最常用的迁移学习方法。这种方法 的基本思想是,由于源域和目标域的数据概率分布不同,那么最直接的方式就是通过一些变换,将不同的数据分布的距离拉近数据的边缘分布不同,就是数据整体不相似数据的条件分布不同,就是数据整体相似,但是具体到每个类里,都不太相似根据数据分布的性质,这类方法又可以分为边缘分布自适应、条件分布自适应、以及联 合分布自适应边缘分布自适应基本思路目标是减小源域和目标域 的边缘概率分布的距离,从而完成迁移学习。原创 2020-05-11 17:54:03 · 4811 阅读 · 1 评论 -
《迁移学习简明手册》阅读笔记——基本知识
文章目录迁移学习的问题形式化领域任务总体思路度量准则常见的几种距离相似度KL 散度与 JS 距离最大均值差异 MMDPrincipal AngleA-distance迁移学习的基本方法基于样本的迁移基于特征的迁移基于模型的迁移基于关系的迁移迁移学习的问题形式化领域领域 (Domain): 是进行学习的主体。领域主要由两部分构成:数据和生成这些数据的概率分布涉及到迁移,所以对应于两个基本的领域:源领域 和 目标领域任务任务: 是学习的目标。任务主要由两部分组成:标签和标签对应的函数。总体思路原创 2020-05-10 00:16:46 · 1891 阅读 · 0 评论 -
《迁移学习简明手册》阅读笔记——基本概念
下个月要入职阿里推荐算法岗,实习的任务是推荐系统+深度学习+迁移学习,但是之前对迁移学习没有了解,师兄推荐了《迁移学习简明手册》这本书,提前预习一下并做一下笔记。文章目录原创 2020-05-09 15:42:46 · 460 阅读 · 0 评论