<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chadlee]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/yanguang1470</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; yanguang1470]]></copyright><item><title><![CDATA[【视觉预训练】《BEIT: BERT Pre-Training of Image Transformers》 ICLR 2022]]></title><link>https://blog.csdn.net/yanguang1470/article/details/127119988</link><guid>https://blog.csdn.net/yanguang1470/article/details/127119988</guid><author>yanguang1470</author><pubDate>Fri, 30 Sep 2022 11:00:57 +0800</pubDate><description><![CDATA[核心思想是：让 BEIT 看很多的图片，随机盖住一些 image patches，让 BEIT 模型预测盖住的patches是什么，不断计算预测的 patches 与真实的 patches 之间的差异，利用它作为 loss 进行反向传播更新参数，来达到 Self-Supervised Learning 的效果。BEIT 也是在做类似的事情，即能够把一个输入的 image 进行编码，得到一堆 vectors，并且这些个 vectors 也结合了 image 的上下文。具体而言，作者训练了一个。]]></description><category></category></item><item><title><![CDATA[【多模态】MoE解决多模态单双塔问题 VLMo: Unifified Vision-Language Pre-Training with Mixture-of-Modality-Experts]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126951450</link><guid>https://blog.csdn.net/yanguang1470/article/details/126951450</guid><author>yanguang1470</author><pubDate>Tue, 20 Sep 2022 13:45:38 +0800</pubDate><description><![CDATA[之前在秋招和写毕业论文，一个月没更了。毕业论文交了，开更。]]></description><category></category></item><item><title><![CDATA[【推荐系统中的Hash 3】Deep Hash：Learning to Embed Categorical Features without Embedding Tables KDD‘21]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126457356</link><guid>https://blog.csdn.net/yanguang1470/article/details/126457356</guid><author>yanguang1470</author><pubDate>Sun, 21 Aug 2022 23:27:14 +0800</pubDate><description><![CDATA[作者也觉得他这种方法不能满足同质性Equal Similarity，因此提出对于物品ID、用户ID，在encode之后再拼接上属性（年龄、性别、品牌等），然后在输入到DHE中解码，为最终生成的embedding补充同质性。项为1，其他都为0。，即一个特征分别落到了k个桶中，分别从embedding table取出向量，并且把最后的结果concat到一起或者做avg-pooling。作者说，这里是受到GAN网络的启发，用服从高斯分布的随机变量做GAN网络的输入。2、无法处理新出现的特征（OOV）。]]></description><category></category></item><item><title><![CDATA[【推荐系统中的Hash 2】局部敏感哈希（利用冲突）]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126457329</link><guid>https://blog.csdn.net/yanguang1470/article/details/126457329</guid><author>yanguang1470</author><pubDate>Sun, 21 Aug 2022 23:23:32 +0800</pubDate><description><![CDATA[首先将2维数据点组织成二叉树的结构，比如先用红色的线把点云一分为二，再用深蓝色的线把各自片区的点云一分为二，以此类推，直到每个片区只剩下一个点，这就完成了空间索引的构建。比如，希望找到点 q 的 k 个邻接点，我们就可以先搜索它相邻子树下的点，如果数量不够，我们可以向上回退一个层级，搜索它父片区下的其他点，直到数量凑够 k 个为止。局部敏感哈希的基本思想是希望让相邻的点落入同一个“桶”，这样在进行最近邻搜索时，我们仅需要在一个桶内，或相邻几个桶内的元素中进行搜索即可。kd-tree的实现是改造的线段树。]]></description><category></category></item><item><title><![CDATA[【推荐系统中的Hash 1】Hash Trick：原始数据—＞特征，尽可能避免冲突]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126457306</link><guid>https://blog.csdn.net/yanguang1470/article/details/126457306</guid><author>yanguang1470</author><pubDate>Sun, 21 Aug 2022 23:21:52 +0800</pubDate><description><![CDATA[哈希的本质是得到key。]]></description><category></category></item><item><title><![CDATA[【超长序列建模】美团CIKM‘22：《Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction》]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126331456</link><guid>https://blog.csdn.net/yanguang1470/article/details/126331456</guid><author>yanguang1470</author><pubDate>Sun, 14 Aug 2022 14:33:55 +0800</pubDate><description><![CDATA[如果直接只用一个哈希函数的话，那么这样计算得到的用户兴趣表征误差肯定是非常大的。为了减小误差，作者采用了 simHash 的一个变种：(m,τ) - parameterized simHash，也就是同时采样 m 个哈希函数生成 m 个 binary 的哈希指纹，然后将每 τ 个哈希指纹串在一起视为一个新的 τ 位的哈希签名，而后用这个 τ 位的哈希签名去计算 item 间的碰撞。直接用 item 间的哈希碰撞概率来近似他们的相似度，从而避免 element-wise 的相似度计算**。...]]></description><category></category></item><item><title><![CDATA[【超长序列建模】阿里ETA：《End-to-End User Behavior Retrieval in Click-Through Rate Prediction Model》]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126331416</link><guid>https://blog.csdn.net/yanguang1470/article/details/126331416</guid><author>yanguang1470</author><pubDate>Sun, 14 Aug 2022 14:31:43 +0800</pubDate><description><![CDATA[最自然想到的方法就是target attention，让target item与每个historical item逐一点积，这兜兜转转由回到了起点，我们就是从attention出发来的。现在找到了一个功能和target attention类似，但是复杂度低的多的方法了。一种解决方法是SimHash。SimHash的优点在于其。，SimHash后得到。...]]></description><category></category></item><item><title><![CDATA[【冷启动】Transform Cold-Start Users into Warm via Fused Behaviors in Large-Scale Recommendation SIGIR‘22]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126276376</link><guid>https://blog.csdn.net/yanguang1470/article/details/126276376</guid><author>yanguang1470</author><pubDate>Wed, 10 Aug 2022 23:20:35 +0800</pubDate><description><![CDATA[主要有三点：（1）将冷启动用户的嵌入预热，其实就是加了一个冷启动用户embedding，（2）为了利用冷启动用户的少量行为来帮助表征用户，提出了通过Label Encoding（LE）同时建模正负反馈混合序列，类似于卷积层里有负样本。冷启动用户的user embedding刚开始是随机初始化的，为了消除初始随机初始化embedding的的影响，类似MAML的思想，用全局平均embedding来辅助。类似于图卷积中加负样本，在用户的序列行为中也考虑负反馈物品，即对用户曝光但未点击的item。...]]></description><category></category></item><item><title><![CDATA[【超长序列建模】万级别：SIM《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126276355</link><guid>https://blog.csdn.net/yanguang1470/article/details/126276355</guid><author>yanguang1470</author><pubDate>Wed, 10 Aug 2022 23:18:35 +0800</pubDate><description><![CDATA[这个时候干脆模仿起推荐系统的召回、精排方法，对序列特征再做一次“召回”和“精排”：第一阶段Genral Search Unit（GSU）通过相对粗略的搜索模式，提取行为序列中与候选 AD 较相关的节点，第二阶段Exact Search Unit（ESU）通过精准搜索的模式，得到序列与候选 AD 的关系，并形成 embedding 供 MLP 使用。因为引入的是超长的用户行为序列，用户行为间横跨较长的时间，用户行为的分布是不同的，所以给每个用户行为引入了一个时间状态属性。来表达每个行为的时间状态属性。...]]></description><category></category></item><item><title><![CDATA[【超长序列建模】千级别：MINM《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Predictio]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126276304</link><guid>https://blog.csdn.net/yanguang1470/article/details/126276304</guid><author>yanguang1470</author><pubDate>Wed, 10 Aug 2022 23:16:27 +0800</pubDate><description><![CDATA[当序列行为超长时，意味着一个节点有数十万条边，这个时候一阶关系都过于稠密，更不用说利用高阶关系了。]]></description><category></category></item><item><title><![CDATA[【冷启动】快手《POSO: Personalized Cold Start Modules for Large-scale Recommender Systems》]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126112374</link><guid>https://blog.csdn.net/yanguang1470/article/details/126112374</guid><author>yanguang1470</author><pubDate>Mon, 01 Aug 2022 23:41:11 +0800</pubDate><description><![CDATA[既然需要不同用户群模型，那就以当前模型为基础，通过加权得到某个用户群的模型，再进行加权得到某个用户的模型，两次加权可以通过一个gate网络合并。显然，冷启用户的特征分布和全量用户的特征分布差别很大，但是冷启动用户样本一般占全量样本5%以下，因此模型主要受正常用户的影响。，强迫模型关注到这个特征，POSO的核心思想也类似，即对每个用户学习对应的模型，不受其他用户样本的影响，做到完全基于用户自己的个性化。，在基础的单个模型中引入个性化模块，使模型对每个用户在模型结构层面进行个性化响应，实现模型结构的个性化。..]]></description><category></category></item><item><title><![CDATA[【多任务模型】腾讯MFH《Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126112344</link><guid>https://blog.csdn.net/yanguang1470/article/details/126112344</guid><author>yanguang1470</author><pubDate>Mon, 01 Aug 2022 23:37:57 +0800</pubDate><description><![CDATA[特别是task非常多的时候又有新的问题一般一个MTL模型只能处理2～6个任务，对于10～20个任务一般需要2～3个MTL模型，所以当任务数量多起来的时候1、task之间会有复杂的关系；以往的MTL都是在微观级别上创新Switcher的结构，以提高合作学习的效率，这一定程度上是因为他们的场景task少，negativetransfer没这么严重。类似FM的思想，将多棵H-MTL交叉，每棵树是一个强语义表示，像FM一样对每棵树进行“特征交叉”，自动的构造多个任务的组合，从而提高了学习的效率和质量。......]]></description><category></category></item><item><title><![CDATA[【多任务CTR】阿里ESMM：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conve]]></title><link>https://blog.csdn.net/yanguang1470/article/details/126112323</link><guid>https://blog.csdn.net/yanguang1470/article/details/126112323</guid><author>yanguang1470</author><pubDate>Mon, 01 Aug 2022 23:34:30 +0800</pubDate><description><![CDATA[pCVR=pCTCVR/pCTR，即分别训练一个CTCVR和CTR模型，然后相除得到pCVR，但是这样有一个明显的缺点是真实场景预测出来的pCTR、pCTCVR值都比较小，“除”的方式容易造成数值上的不稳定。”，想象一个场景，一个item，可能因为头图很丑，它被某个user点击的概率很低，但这个item内容本身完美符合这个user的偏好，若user点击进去，那么此item被user转化的概率极高。现在感觉解决方案已经呼之欲出了CVR是的样本是有偏的、CTR是无偏的，CTCVR样本是无偏的！......]]></description><category></category></item><item><title><![CDATA[【多任务优化】DWA、DTP、Gradnorm（CVPR 2019、ECCV 2018、 ICML 2018）]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125985037</link><guid>https://blog.csdn.net/yanguang1470/article/details/125985037</guid><author>yanguang1470</author><pubDate>Mon, 25 Jul 2022 22:47:00 +0800</pubDate><description><![CDATA[L=i∑​Li​显然这种做法有很大问题，因为不同task的label分布不同，同时不同task的loss量级也不同，整个模型很可能被一些loss特别大的任务主导。L=i∑​wi​∗Li​L=i∑​wi​(t,θ)∗Li​t是训练的step，theta是模型其他参数。但是这种做法也不一定有人工设计权重好。一些设计wi​(t,θ)...]]></description><category></category></item><item><title><![CDATA[【多任务模型】Progressive Layered Extraction: A Novel Multi-Task Learning Model for Personalized（RecSys‘20）]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125984986</link><guid>https://blog.csdn.net/yanguang1470/article/details/125984986</guid><author>yanguang1470</author><pubDate>Mon, 25 Jul 2022 22:44:31 +0800</pubDate><description><![CDATA[腾讯的视频推荐团队，建模的目标包含用户的多种不同的行为点击，分享，评论等等。score=pVTRwVTR×pVCRwVCR×pSHRwSHR×…×pCMRwCM​×f(videolen)其中w是超参，表示相对重要性。]]></description><category></category></item><item><title><![CDATA[【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125984915</link><guid>https://blog.csdn.net/yanguang1470/article/details/125984915</guid><author>yanguang1470</author><pubDate>Mon, 25 Jul 2022 22:39:45 +0800</pubDate><description><![CDATA[在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当于每个task多了k-1个监督信号来辅助学习，一些特征可以从其他task学的更好。...]]></description><category></category></item><item><title><![CDATA[【RS采样】A Gain-Tuning Dynamic Negative Sampler for Recommendation (WWW 2022)]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125903456</link><guid>https://blog.csdn.net/yanguang1470/article/details/125903456</guid><author>yanguang1470</author><pubDate>Thu, 21 Jul 2022 00:23:13 +0800</pubDate><description><![CDATA[这样选出的负样本是得分靠近正样本的，可以为训练过程提供比较大的梯度，从而提供更多的信息。实验还发现，真实负样本的。的正样本集合和负样本集合，意味着每个正样本分别要对所有负样本算loss，等于所有的正样本共享了负样本信息，而不是一对一对的分别优化，效率更高，信息更多。文章提出一个基于期望增益的采样器，在训练过程中根据正负样本之间差距的期望的变化，动态指导负采样，可以识别假负样本。分析真实和虚假负样本的H和G的分布，可以看出在训练过程中H越来越高的是假负样本，真实负样本的G越来越高。用户交互过的物品集合，...]]></description><category></category></item><item><title><![CDATA[【GCN-RS】Learning Explicit User Interest Boundary for Recommendation (WWW‘22)]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125903419</link><guid>https://blog.csdn.net/yanguang1470/article/details/125903419</guid><author>yanguang1470</author><pubDate>Thu, 21 Jul 2022 00:12:21 +0800</pubDate><description><![CDATA[是一个标量，只和userembedding有关，所以对于popularitybias大的用户，s往往都很大，这个时候给他限定一个比较高的margin值，相当于设定一个动态的marginloss。在loss里可以看作是一种针对高频user的惩罚正则化。也可以看作一种debias的方法，还有一种可能，优化正样本loss。...]]></description><category></category></item><item><title><![CDATA[【GCN-RS】Region or Global? A Principle for Negative Sampling in Graph-based Recommendation (TKDE‘22)]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125903162</link><guid>https://blog.csdn.net/yanguang1470/article/details/125903162</guid><author>yanguang1470</author><pubDate>Thu, 21 Jul 2022 00:10:55 +0800</pubDate><description><![CDATA[在GCN-RS里，负采样应该选取距离user中间的区域，太近的区域一般是用户聚合的物品，太远的没什么信息量，距离不远不近的样本可以看作是信息量比较大的难样本。类似于MixUp技术，为了得到user的难负样本，不仅仅和user。远小于整个物品集，但我在数据集上统计仅仅是3-hop，绝大部分。是超参数，用于平衡用户和物品的影响。累计分数，但是如果不在中间区域的话，不计数。定义距离userk阶的物品是中间区域。越近的物品，作为负样本的概率越大。有关，还和user的正样本。中用两种策略得到难负样本。...]]></description><category></category></item><item><title><![CDATA[【GCN-RS】MCL: Mixed-Centric Loss for Collaborative Filtering (WWW‘22)]]></title><link>https://blog.csdn.net/yanguang1470/article/details/125903380</link><guid>https://blog.csdn.net/yanguang1470/article/details/125903380</guid><author>yanguang1470</author><pubDate>Thu, 21 Jul 2022 00:10:03 +0800</pubDate><description><![CDATA[Pointwise和pairwise损失函数挖掘的信息太少了，只是采样样本，然后更新权重。是指正样本的距离比距离最小的负样本的距离减阈值还要大的样本。是指负样本的距离比距离最大的正样本的距离加阈值还要小的样本。为了从可用的偏好信息中挖掘更多的信号，考虑了难样本和全局信息。...]]></description><category></category></item></channel></rss>