flying_1314的博客

摘要：DIN（深度兴趣网络）通过引入注意力机制动态捕捉用户兴趣，其核心创新在于Activation Unit模块，该模块结合候选商品与历史行为的外积和差值计算注意力得分，实现加权求和生成用户兴趣表征。针对大规模稀疏数据，DIN采用仅更新非零特征的稀疏感知正则化技术，并使用Dice激活函数自适应调整校正点。文章同时指出DIN存在兴趣表征静态化、粒度较粗及长序列捕捉不足等问题，并展示了包含Embedding层、注意力层和MLP层的代码框架。该模型有效提升了CTR预测性能，为后续改进奠定了基础。

本文提出深度兴趣网络(DIN)用于电商广告点击率预测，解决了传统固定长度用户表征无法捕捉多样化兴趣的瓶颈。DIN通过局部激活单元动态计算用户兴趣表示，使其随广告变化；同时开发了小批量感知正则化和数据自适应激活函数两项技术，支持工业级大规模训练。实验表明，DIN在公开数据集和阿里巴巴20亿样本上均优于现有方法，线上A/B测试点击率提升10%。可视化分析验证了DIN能形成多峰兴趣分布，有效建模用户行为特性。该模型已成功部署于阿里巴巴广告系统，为工业级深度学习应用提供了新思路。

摘要：DIN模型在注意力机制中引入外积和差值操作以增强特征交互能力。外积通过矩阵运算显式建模用户历史行为与候选商品的多维交互关系，解决传统点积和加性方法无法捕捉非线性交互的问题。差值则通过向量减法捕捉方向性差异，补充外积在相对变化趋势上的不足。二者协同作用：外积关注特征乘积组合（如品牌×类别），差值关注相对变化（如价格高低）。工程实现上通过降维和并行计算优化性能。这种组合设计使DIN能更精准地计算注意力权重，适应电商推荐中复杂的动态兴趣变化。

本文研究了推荐系统中的不完美双跷跷板问题，提出PEPNet(参数和嵌入个性化网络)解决多领域和多任务推荐中的性能不平衡问题。在快手平台的实验中，PEPNet显著优于现有方法，在三个领域六项任务上平均提升0.01-0.03 GAUC。消融实验验证了EPNet和PPNet模块的有效性，超参数分析表明模型稳定可靠。在线A/B测试显示各项指标显著提升，特别是观看时长获得0.1%的商业价值增长。该模型已部署服务3亿用户，证明了在多任务多场景推荐中的优越性能。

本文提出PEPNet模型解决多领域多任务推荐中的个性化问题。该模型包含三个核心组件：门控神经单元(GateNU)处理个性化先验信息；嵌入个性化网络(EPNet)通过领域特征调整共享嵌入；参数个性化网络(PPNet)为用户定制DNN参数。工程实现中采用特征淘汰、在线同步和分训练策略优化系统性能。实验表明该模型能有效缓解不完全双重seesaw问题，已在快手平台成功部署。

摘要： 本文提出PEPNet（参数与嵌入个性化网络），用于解决多领域多任务推荐系统的双重跷跷板效应。PEPNet通过嵌入个性化网络（EPNet）动态调整特征重要性，参数个性化网络（PPNet）平衡任务差异，实现用户兴趣的精准捕捉。在快手应用中，该模型服务3亿日活用户，线上指标提升1%-2%，具有高效、即插即用的特点。 关键词： 多领域学习、多任务学习、个性化、推荐系统

多任务学习（PLE）模型通过共享结构和参数实现多任务协同训练，提升泛化能力。其核心改进在于解耦共享/专属参数，采用渐进式分层提取机制，通过门控网络动态调节信息流。实践需解决梯度冲突、损失函数设计等优化难题，适用于推荐系统CTR、CVR等场景。工程实现要平衡计算开销，支持冷启动任务扩展。前沿方向包括跨域推荐适配和多模态改进，通过分层共享和对抗学习增强模型能力。PLE相比传统MTL和MoE架构，在负迁移问题和任务特异性处理上更具优势。

摘要：本文深入探讨了多任务学习(MTL)中的关键挑战——"跷跷板现象"，即优化某些任务会导致其他任务性能下降的问题。针对这一挑战，研究提出了渐进式分层提取(PLE)模型，通过显式分离共享组件与任务特定组件，采用渐进式路由机制逐步提取深层语义知识。PLE在腾讯视频推荐系统中的应用表明，相比现有MTL模型能显著提升2.23%的观看量和1.84%的观看时长。该模型通过多层次专家网络和门控机制，实现了更高效的联合表征学习，有效解决了任务间负迁移和性能退化问题，为复杂推荐系统提供了创新解决方案。

AUC和GAUC其实是同一类物种，只不过GAUC是个更细心，会考虑到每一个人的更细心的物种，而AUC是更有全局观，以整体为主的物种。

带大家搞清推荐系统中排序的常用评估指标的前世今生哦!

1、背景首先个人理解，赋予一个背景，比如推荐系统中抖音里面，每天都有很多的作者去上传很多的视频，量级可能非常大，并且之前的视频也会累积，那么如何区分不同的视频内容呢，就是id了，类似于我们的身份证件，但是如何做到唯一标识呢？2、实现框架这个就会用到传说中的---雪花算法。雪花算法（Snowflake）是twitter公司内部分布式项目采用的ID生成算法，开源后广受国内大厂的好评，在该算法影响下各大公司相继开发出各具特色的分布式生成器。名字很高大上哈，其实很简单，看下面这张图片，就是雪