Mike@-CSDN博客

原创 RecSys: 推荐系统重排与多样性优化(MMR以及DPP算法)

推荐系统的多样性优化，特别是在重排阶段的有效处理，能够显著提升用户使用时长和留存率等关键业务指标。物品相似性度量：基于物品图文内容的向量表征（如CLIP模型）相较于传统的属性标签或双塔模型向量更为有效多样性优化方法：采用MMR（最大边界相关）算法及其滑动窗口改进版本以及（工业界公认比较有用的方法之一），在保持高精排分数的前提下，显著提升推荐结果的多样性。

2025-09-19 22:44:19 1587

原创 RecSys:用户行为序列建模以及DIN、SIM模型

用户行为序列建模是推荐系统的核心环节。从简单平均到注意力机制（DIN），再到基于搜索的长期兴趣建模（SIM），每一步演进都在更好地平衡效果与计算效率。实践中，需根据业务需求、数据规模和基础设施条件选择合适的方法，并灵活引入时间等辅助信息以进一步提升模型性能。

2025-09-06 21:50:43 1058

原创特征交叉方法解析：DCN、LHUC、SENet与Bilinear

LHUC（Learning Hidden Unit Contribution）起源于语音识别，后由快手团队引入推荐系统并称为。双塔模型是推荐系统的通用架构框架，其用户塔和物品塔可由任意神经网络结构构建，并非特指某种具体实现。SENet源自计算机视觉，可用于对特征进行动态加权。用于高效地进行Field间特征交叉，存在多种形式。的加权，重要性低的Field权重会自动降低。（双线性特征交叉）的模型。，目前已得到广泛应用。（动态特征重要性）和。：SENet实现的是。

2025-08-28 00:25:38 895

原创 RecSys：粗排模型和精排特征体系

用户发送请求给主服务器，主服务器发生召回请求给召回服务器，召回服务器把几千个召回结果发回主服务器，主服务器把物品ID、用户ID、场景特征（用户地点、当前时刻、是否节假日、手机型号，操作系统）发往排序服务器。排序服务器从三个源中获取用户画像、物品画像、统计数据。排序服务器把特征打包传递给TF serving tensorflow会给笔记打分，把分数返回给排序服务器，排序服务会用排序融合分数，业务规则给笔记做排序。（笔记的类目也就几百个，关键词就几百万个，给他们做embedding比较容易，消耗内存也不多）

2025-08-19 23:36:05 1118

原创 RecSys：排序中的融分公式与视频播放建模

本文介绍了推荐系统中多目标分数融合的几种方法，包括加权和、连乘融合、排名融合等，并针对视频推荐场景提出播放时长和完播率的建模方法。关键点包括：1）多种融合公式的数学表达与实际意义；2）通过Sigmoid转换和交叉熵损失函数优化播放时长预估；3）完播率建模的回归和分类方法，以及解决长短视频公平性的调整方案。这些方法能有效反映用户兴趣，为视频推荐排序提供依据。

2025-08-18 23:02:19 1324

原创解决CUDA版本混乱，使用Conda创建CUDA匹配的PyTorch环境

摘要：本文介绍了在conda环境中安装匹配PyTorch版本的cuda-toolkit的方法，避免修改系统CUDA配置。关键点包括：1)确保PyTorch与cuda-toolkit版本一致；2)使用完整工具包cuda-toolkit而非仅含运行时库的cudatoolkit。提供了PyTorch和cuda-toolkit（11.8版本）的具体安装命令与验证方法，包括检查nvcc版本、PyTorch CUDA版本及GPU可用性。通过conda管理环境可解决服务器NVCC版本过低问题，不影响其他用户。（149字

2025-08-18 03:42:24 713

原创 RecSys:多目标模型和MMOE

该模型将以下特征作为输入，输出多个指标的预估结果：基于这些数据计算以下指标：CrossEntropyLoss−ylogpi1−ylog1−pi)∑i14αiCrossEntropyLossyipi)Ptruenn−nPprednαn−nαPtrue1−Ppredα⋅Ppredα。

2025-08-16 23:11:58 1109

原创双塔模型 + 自监督学习：解决长尾物品表征难题

在推荐系统中，双塔模型是一种常见的召回策略，通过用户塔和物品塔分别生成用户向量和物品向量，利用两者之间的相似度来预估用户对物品的兴趣。然而，双塔模型在处理长尾物品时存在一定的局限性。本文将探讨如何通过自监督学习来优化双塔模型，更好地学习长尾物品的向量表征。

2025-07-30 23:07:21 1218

原创大厂主力双塔模型实践与线上服务

正样本，曝光而且有点击简单负样本：全体物品batch内负样本被召回，但是被排序淘汰。不能使用曝光、未点击的物品做召回的负样本用户塔和物品塔分别输出用户向量和物品向量，通过余弦相似度预估用户兴趣。训练方式包括 Pointwise、Pairwise 和 Listwise，各有优缺点。正样本为用户点击的物品，负样本包括全体物品、被排序淘汰的物品等。线上召回通过向量数据库进行最近邻查找，快速返回用户最感兴趣的物品。

2025-07-30 22:34:11 922

原创推荐系统多目标排序模型以及融合策略

指标计算公式业务意义CTR点击次数/曝光次数内容基础吸引力LikeRate内容质量认可度用户长期兴趣强度ShareRate转发次数/点击次数内容传播价值转发行为具有网络效应，能为平台带来跨域流量，是重要的增长杠杆。

2025-07-25 17:52:11 1054

原创 Youtube双塔模型

本文讲解一种针对大规模推荐系统的采样偏差校正方法，通过双塔神经网络建模用户与物品交互。核心创新在于采用流式频率估计算法，利用哈希数组动态估计物品采样概率，并通过对数校正项消除流行度偏差。该方法在YouTube视频推荐中验证有效，显著提升了检索质量。实验表明，结合温度参数等技术后，模型在十亿级物品场景下仍保持优异性能，为海量候选集推荐提供了高效解决方案。

2025-06-28 22:53:20 1219

原创 Negative Contrastive Estimation & Negative Sampling

本文探讨了大规模分类问题中的计算效率优化方法，重点分析了负对比估计(NCE)和负采样技术。当词汇量极大时，传统Softmax的计算复杂度成为瓶颈。NCE将多分类转化为二分类问题，通过区分正样本和噪声样本来优化模型。负采样作为NCE的特例，进一步简化了损失函数，显著降低了计算复杂度。研究表明，25个噪声样本即可达到常规Softmax性能，且速度提升45倍。相比层级Softmax等方法，负采样实现简单且效果优异，成为处理大规模数据集的优选方案。

2025-06-22 15:23:42 977

原创 Embedding技术：DeepWalk&Node2vec

Graph Embedding是一种将图中的节点映射到低维向量空间的技术。通过这种映射，图中的节点可以在向量空间中表示为密集的向量，从而方便进行各种机器学习任务，如分类、聚类和推荐。

2025-03-06 23:45:07 1288

原创 Embedding方法:从Word2Vec到ltem2Vec

`Item2vec` 脱胎于自然语言处理领域中的 `word2vec` 技术。word2vec 的核心目标是将文本中的单词转化为低维向量，使得语义相近的单词在向量空间中距离相近。item2vec 则将这一思想拓展到了更广泛的领域，它可以将任何类型的 “item”，如商品、电影、音乐、文章等，映射为低维向量，从而捕捉 item 之间的相似性和关联性。这种向量表示为后续的数据分析、推荐系统、聚类等任务提供了坚实的基础。

2025-02-20 23:02:54 759

原创经典Embedding方法:Word2Vec与Skip-Gram算法）

核心思想“具有相似上下文的词，其语义也相似。例如，句子和中，cat和dog的上下文相似，因此它们的向量表示应接近。Skip-Gram的优势擅长捕捉低频词。生成的高质量词向量可应用于语义分析、推荐系统召回等。数学本质通过最大似然估计，学习词向量以编码上下文相似性。实际应用预训练词向量（如GloVe、BERT的基础）。相似词检索、文本分类、命名实体识别等。参考文献arXiv王喆《深度学习推荐系统》word2vec跳字模型skip-gram详解，使用Pytorch实现。

2025-02-19 19:38:53 886

原创 DIEN：深度兴趣演化网络

为了在效率与性能之间找到平衡，作者使用GRU（门控循环单元）来建模行为之间的依赖关系，GRU的输入是按时间顺序排列的用户行为。通过辅助损失和改进的GRU架构，DIEN能够更好地处理长序列行为数据，并优化用户兴趣的表示，推动广告推荐系统的发展。具体而言，兴趣演化层通过对每个GRU步骤的局部激活，使得与目标项相关的兴趣得以强化，减少来自兴趣漂移的干扰。兴趣演化层的目标是通过建模兴趣的演化过程，提高目标项CTR的预测准确度。在电商系统中，用户行为承载着潜在的兴趣，用户在每次行为后，兴趣都会发生变化。

2025-02-18 00:45:46 1324

原创 DIN：引入注意力机制的深度学习推荐系统，

特征结构类别特征组示例维度编码类型用户画像性别、年龄低维（~10）One-hot用户行为浏览商品ID高维（~10⁹）Multi-hot广告属性商品ID、类目ID高维（~10⁷）One-hot上下文时间、页面位置低维（~10）One-hot用户行为特征（如）是多热编码（Multi-hot）向量，包含丰富的兴趣信息，但传统池化方法无法捕捉其与候选广告的动态相关性。这些特征的维度和稀疏性对模型的设计提出了巨大挑战。DIN 的创新之处在于如何有效地处理这些特征，并动态地捕捉用户兴趣。

2025-02-16 00:26:19 1566

原创 DeepFM：融合因子分解机与深度学习的CTR预测模型

假设训练数据集包含n个实例(χ, y)，其中χ是一个包含多个字段的数据记录，通常涉及用户和商品的配对，y ∈ {0, 1} 是与该配对相关的标签，表示用户的点击行为（y = 1表示用户点击了该商品，y = 0表示没有点击）。为了克服这些限制，研究者们不断探索新的模型架构，以更有效地学习特征间的复杂交互关系。它不仅能够捕捉低阶特征交互（如线性和二阶交互），还能学习高阶特征交互，而无需复杂的特征工程。通常，x是高维且稀疏的。构成，二者共享输入嵌入层，实现低阶与高阶特征交互的联合学习（见图1）。

2025-02-08 00:50:33 1280

原创 FNN —— 基于因子分解机的神经网络

FNN 结合了和神经网络（DNN）底层是 FM：利用 FM预训练得到的各特征隐向量初始化 Embedding 层的参数，而不是随机初始化。多层神经网络第一层（Dense Real Layer，z）: 由 FM 提供的向量z作为输入。隐藏层（Hidden Layers, l1 & l2）: 采用tanh激活函数（经验上比 ReLU 更好）。输出层（CTR 预测）: 使用sigmoid激活函数，将输出映射到 (0,1) 之间，表示点击率的概率。输入层。

2025-02-06 12:27:48 1529

原创 Deep Cross Network （DCN）:深度交叉网络讲解

深度交叉网络（DCN）是一种强大的架构，它结合了显式特征交叉和深度学习的优势。通过高效地建模高阶特征交互并捕捉非线性模式，DCN 在点击率预测等任务中实现了顶尖的性能。其模块化的设计，包括嵌入与堆叠层、交叉网络、深度网络和组合层，使其在大规模应用中既灵活又可扩展。

2025-02-06 00:15:27 2611

原创 Wide & Deep 模型：记忆能力与泛化能力

Wide & Deep 模型是一种结合了线性模型（Wide）和深度神经网络（Deep）的混合架构，以结合记忆（Memorization）与泛化（Generalization）能力，并有效解决了推荐系统中的稀疏高秩特征交互问题。该模型最初由 `Google的Cheng 等人（2016）` 提出，广泛应用于推荐系统、广告点击率预测等领域

2025-02-04 19:37:41 1163

原创 PNN（Product-based Neural Network）模型架构简介

PNN 模型的整体架构与其他深度神经网络模型（例如 Deep Crossing 模型）类似，主要包含输入层、Embedding 层、多层全连接神经网络以及最终的输出层。在 Deep Crossing 模型中，特征的 Embedding 向量是简单地拼接后送入全连接层，而 PNN 模型引入了乘积层，用于计算不同特征 Embedding 向量之间的交互项。

2025-02-04 08:00:00 1667

原创 NeuralCF 模型：神经网络协同过滤模型

NeuralCF 模型由新加坡国立大学研究人员于 2017 年提出，其核心思想在于将传统协同过滤方法与深度学习技术相结合，从而更为有效地捕捉用户与物品之间的复杂交互关系。该模型利用神经网络自动学习用户和物品的低维表示，并通过这些表示实现对用户评分的精准预测。NeuralCF 模型融合了矩阵分解与深度学习两种方法的优势，采用基于神经网络的结构来建模用户与物品间的非线性交互。传统矩阵分解方法通过计算用户与物品隐向量的内积来进行评分预测，而 NeuralCF 则利用多层感知机（MLP）对用户与物品隐向量进行联合建

2025-02-03 16:19:17 1781

原创 Deep Crossing：深度交叉网络在推荐系统中的应用

Deep Crossing 通过 Residual Network 深度建模特征交互，避免了手工特征工程的复杂性，并在 CTR 预估等任务中表现优异。相比于传统神经网络，残差结构的加入有效缓解了梯度消失问题，使得深度学习在推荐系统领域取得更大突破。

2025-02-03 13:19:45 2683

原创 AutoRec：基于自编码器的推荐系统入门模型

本文深入解析澳大利亚国立大学于2015年提出的AutoRec模型，该模型通过将自编码器（AutoEncoder）与协同过滤相结合，构建了首个基于单隐层神经网络的推荐系统框架。作为深度学习推荐模型的奠基性工作，AutoRec以其简洁的架构和理论启发性，为后续复杂模型的发展提供了重要参考。

2025-02-02 20:29:31 1310

原创 FFM 因子分解机原理与特征域概念解析

因子分解机（FFM）通过引入特征域的概念，相较于 FM 提供了更精细的特征交叉建模能力，在 CTR 预估等任务中取得了显著的效果。这个样本有4个特征，其中User，Moive，Genre是类别型特征，Price是数值型特征，经过One-hot处理后有。在 FFM 中，每个特征 $x_i $ 依据其所属的特征域（Field）来学习不同的嵌入向量。在 FM 中，这些特征被视为独立个体，而在 FFM 中，它们会被分配到不同的特征域。的概念，能够更好地建模特征交叉，提高模型的预测性能。指的是特征的类别或属性集合。

2025-01-31 00:45:24 1633

原创 Softmax 与交叉熵：数学原理与梯度推导

Softmax 函数和交叉熵损失函数的组合在多分类任务中非常高效。Softmax 函数将神经网络的输出转化为概率分布，而交叉熵损失函数则衡量预测分布与真实分布之间的差异。这种组合不仅能够有效衡量模型的预测性能，还能在反向传播过程中提供简洁且稳定的梯度更新。希望本文能够帮助你更好地理解 Softmax 和交叉熵的数学原理及其在深度学习中的应用。

2025-01-30 01:41:58 1400

原创大规模分段线性模型（LS-PLM）及其在推荐系统中作用

LS-PLM遵循分而治之的策略，即首先将特征空间划分为几个局部区域，然后在每个区域中拟合一个线性模型，结果是加权线性预测的组合。在本实验中，模型的训练集和验证集上的AUC值持续上升，并在最终达到了较高的值，证明LS-PLM能够有效地进行CTR预测。通过训练，我们观察到模型的训练损失和验证损失逐步减少，证明了模型在训练过程中逐渐收敛，并且能够有效地拟合训练数据。提到：为了提高CTR预测的准确性，越来越多的数据被涉及，使得CTR预测成为一个大规模学习问题，具有大量的样本和高维特征。的二元分类问题，其中。

2025-01-27 20:32:17 1186

原创 GBDT 自动化特征工程与 LR 在推荐系统中的应用

GBDT（Gradient Boosting Decision Trees）的核心原理是基于决策树的集成，通过逐步修正每棵树的预测误差，来优化整体模型的预测性能。每一棵树都是根据前一棵树的残差（预测误差）进行训练的，从而在模型训练过程中逐渐减少误差。具体来说，GBDT通过引入新树来减少当前预测值与真实标签之间的差异，这一过程能够使得模型逐步接近真实的拟合函数。每棵树在进行节点分裂时，实际上是对特征进行选择和组合，从而提升了模型对复杂数据的处理能力。

2025-01-26 15:11:23 2556

原创因子分解机（Factorization Machine, FM）及其在推荐系统中的应用和代码实现

因子分解机（Factorization Machines，简称FM）作为一种高效的预测模型，自2010年由Steffen Rendle提出以来，在处理稀疏数据和特征交互方面表现出色，广泛应用于点击率（CTR）预测和评分预测等任务。通过对用户特征（如年龄、性别、偏好）和物品特征（如类型、价格、评分）之间的交互建模，FM 能够预测用户对物品的评分或点击率。FM 能够高效建模特征交互，同时避免显式构造组合特征带来的维度爆炸问题，因此成为在过去推荐系统的核心方法之一。推荐系统的核心任务是预测用户对物品的兴趣程度。

2025-01-25 20:33:45 832

Mike的博客