【推荐系统】model 落地（样本/特征/预测服务）

已于 2023-04-16 23:42:47 修改
阅读量1.2k 收藏 5
点赞数 1
分类专栏： 推荐系统 深度学习 文章标签： 人工智能
于 2023-04-16 23:38:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31866177/article/details/130172133
版权
文章详细介绍了深度学习在搜索、广告和推荐系统中的应用，包括样本和特征处理、模型训练与预测、分布式模型服务以及匹配算法。重点讨论了增量训练优化模型更新、线上实时特征落盘提升性能和不同阶段的匹配流程。同时，提到了分布式机器学习对于处理大规模流量的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

兜率宫小道童的个人空间-兜率宫小道童个人主页-哔哩哔哩视频（如下是该视频课系列的笔记）

1-深度学习在搜索、广告、推荐系统中的应用-业务问题建模_哔哩哔哩_bilibili

其他章节

目录

二、深度学习落地

模型训练服务流程

1-样本生成-标签拼接

 1-样本生成-转化延迟

2-特征处理-整体流程

2-特征处理-特征中台

2-特征处理-原始特征拼接 

 2-特征处理-特征分类与抽取算子

 2-特征处理-特征重要性

  2-特征处理-特征体系示例

3-模型训练平台-模型构建

3-模型训练平台-模型构建-模型结构

 3-模型训练平台-模型构建-损失函数

 3-模型训练平台-模型构建-优化器

3-模型训练-训练流程

4-模型预测服务

三、深度学习算法进阶

检索算法分类

 1-匹配算法分类

1-匹配算法-有表示匹配

1- 匹配算法-双塔模型-训练

1-匹配算法-双塔模型-预测

1-匹配算法-双塔模型-ANN 检索

 2-匹配流程 

2-匹配流程-召回发展

2-匹配流程-粗排发展

2-匹配流程-精排发展-1

2-匹配流程-精排发展-2

 四、深度学习进阶

分布式机器学习 GitHub - dmlc/ps-lite: A lightweight parameter server interface

一天访问量会有百亿级别，单机是无法满足服务，做分布式模型服务
分布式模型服务-> 无状态，机器间不会被依赖

一些结论

  • 增量训练

用历史上一个训练好的模型做初始化，
用过去一个月，或者是三个月的样本做全量训练。 但此时，训练量是很大的，
比如，今天用前30天的样本进行训练，
明天用新增数据做增量训练，极大加快了模型的训练速度。有利于把最新的样本反应到 model 里面去，
对用户、商品冷启都有好的效果。

  • 线上实时特征落盘

为什么在线特征定期同步给离线平台？——节约性能
当我们在线上发起一次预估请求，会将 model所需的成百上千特征都收集好，送给 model去预测。
我们希望将这成百上千特征都存下来，直接离线做明文特征抽取。
因为特征很多，会导致用来存储特征的线上包很大，会影响线上的性能+从在线到离线的存储过程中，会产生大量的时间开销。
由此产生：
只将线上的实时特征落盘过来，将时间不敏感的特征用离线特征平台拼接给样本。一方面节省线上开销，离线可以并行提高处理速度。 

  • 交叉熵 衡量两个部分的差异。
  • NHSW的损失是比较小的，检索效率高。
  • 特征方差比较大，会造成 model梯度颠簸，会影响模型收敛速度和效果，所以要做归一化/log 等。
  • 近线系统：model 是天级别更新的，但是特征是天级别、小时级别更新的。？？？

二、深度学习落地

如何在检索匹配中使用深度学习？

2.1-深度学习在搜索、广告、推荐系统中的应用-样本和特征处理_哔哩哔哩_bilibili

模型训练服务流程

1-样本生成-标签拼接

 1-样本生成-转化延迟

2-特征处理-整体流程

2-特征处理-特征中台

2-特征处理-原始特征拼接 

 2-特征处理-特征分类与抽取算子

 2-特征处理-特征重要性

  2-特征处理-特征体系示例

2.2-深度学习在搜索、广告、推荐系统中的应用-模型训练和预测_哔哩哔哩_bilibili

3-模型训练平台-模型构建

3-模型训练平台-模型构建-模型结构

 3-模型训练平台-模型构建-损失函数

 3-模型训练平台-模型构建-优化器

3-模型训练-训练流程

4-模型预测服务

模型文件：1、emb词表；2、model 的网络参数；

网络参数是可以加载到内存里的，但是 emb 不行。 

实际预测时，model 后台会将这次预测用到的所有特征收集好，进行特征处理之后，将处理之后的稀疏特征的 emb 读取回来，再将 emb 和dense特征一起送给 model 预估的机器做预测。

考虑线上的流量比较大，一天会有百亿级别，单机无法满足，往往会做一个分布式的模型服务。

服务是无状态的，各个机器之间不依赖。不用写，只读，会比较简单。

三、深度学习算法进阶

复杂深度学习模型在检索匹配中的应用？ 

3.1-深度学习在搜索、广告、推荐系统中的应用-算法进阶-匹配算法分类_哔哩哔哩_bilibili

检索算法分类

 1-匹配算法分类

1-匹配算法-有表示匹配

1- 匹配算法-双塔模型-训练

1-匹配算法-双塔模型-预测

1-匹配算法-双塔模型-ANN 检索

 3.2-深度学习在搜索、广告、推荐系统中的应用-算法进阶-分阶段演进_哔哩哔哩_bilibili

 2-匹配流程 

2-匹配流程-召回发展

2-匹配流程-粗排发展

2-匹配流程-精排发展-1

2-匹配流程-精排发展-2

 四、深度学习进阶

分布式机器学习

4-深度学习在搜索、广告、推荐系统中的应用-分布式机器学习_哔哩哔哩_bilibili

【推荐系统原理与实践】协同过滤推荐算法、基于内容的推荐、深度学习、矩阵分解、嵌入层、注意力机制、优化算法等
AI天才研究院
07-10 1352
推荐系统（Recommendation System）在过去的几十年中，随着互联网技术的兴起和用户生成内容（UGC）的增多，得到了广泛的应用。它通过分析和挖掘用户的行为数据，为用户推荐他们可能感兴趣的商品、文章、音乐、视频等内容，极大地提升了用户的满意度和体验。推荐系统在电子商务、社交媒体、流媒体平台、新闻聚合网站等多个领域中发挥了重要作用，甚至影响着用户的决策过程。
工业级落地！基于深度学习的风电变桨轴承故障预测系统方案与代码详解
最新发布
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
04-26 159
摘要：本文围绕基于深度学习技术的风电变桨轴承健康评估与故障预测系统展开，详细阐述了该系统从基本概念、数学原理、技术方案设计、系统部署到实操代码实现以及验证优化的全流程。整合了 SCADA 数据、振动信号分析与深度神经网络技术，结合工业场景需求进行设计。通过实际案例验证了方案的有效性，能显著降低变桨故障率。希望能为相关领域的研究者和工程技术人员提供全面且深入的参考。
大模型推荐系统落地调研（持续更新中）1
m0_46598025的博客
07-04 1046
近年来，推荐系统在各大在线平台中扮演着越来越重要的角色，帮助用户发现符合其兴趣的内容和产品。随着大语言模型（LLM）如GPT-3和BERT的问世，推荐系统的性能得到了显著提升。本文将探讨大语言模型在推荐系统中的实际应用及其带来的创新和挑战。
[推荐系统]协同推荐落地相关
github_35614601的博客
06-10 315
协同推荐常用于推荐链路的召回环节，本文主要整理了常见的协同算法与落地方案以及冷启动的相关事项
关于天池赛中零基础入门推荐系统 - 新闻推荐Task04特征工程
weixin_43796337的博客
12-03 429
文章目录前言一、实现步骤1.读取数据：训练和验证集的划分2.读取训练、验证及测试集：3.读取召回列表：4.读取各种Embedding：5.对训练数据做负采样：总结 前言 经过上三篇文章，接下来本文将是此次赛题中的核心内容之一，即特征工程。 | 打卡记录NO.4 一、实现步骤 1.读取数据： 训练和验证集的划分 划分训练和验证集的原因是为了在线下验证模型参数的好坏，为了完全模拟测试集，我们这里就在训练集中抽取部分用户的所有信息来作为验证集。提前做训练验证集划分的好处就是可以分解制作排序特征时的压力，一次.
个性化推荐系统--样本选择与特征选择相关知识（8-3）
weixin_41640583的博客
04-09 3140
回忆一下，8-1中给出的实例，当时用了3个样本，3个特征来演示LR模型的工作原理。但是，可能会有疑问，为什么只有3个样本？在实际的项目中，可能会有非常多的样本，其中有些样本是可以用的，有些样本是不可以用的，到底哪些可以用，哪些不可以用。包括我们有很多的特征，依据什么规则来判断是否对最终的结果有效都是下面要介绍的内容。 下面首先看一下样本方面的知识。 在点击率预估过程中，需要的样本是带有labe...
【Designing ML Systems】第 7 章 ：模型部署和预测服务
sikh_0529的博客
11-14 1179
在第4章到第6章中，我们讨论了开发 ML 模型的注意事项，从创建训练数据、提取特征和开发模型到制定指标来评估该模型。这些考虑构成了模型的逻辑——关于如何从原始数据进入 ML 模型的说明，如图 7-1所示。开发此逻辑需要 ML 知识和主题专业知识。在许多公司中，这是由 ML 或数据科学团队完成的过程。图 7-1。构成 ML 模型逻辑的不同方面在本章中，我们将讨论迭代过程中的另一部分：部署模型。“部署”是一个宽松的术语，通常意味着让您的模型运行且可访问。在模型开发过程中，您的模型通常在开发环境中运行。1要部署，
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 5911
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
基于CatBoost的推荐系统开发：实现智能化推荐
AI天才研究院
07-27 1119
将深度学习的特征表示能力与CatBoost的预测能力相结合，构建更加强大的推荐系统。利用强化学习技术，根据用户的实时反馈动态调整推荐策略，提升推荐效果。提高推荐系统的可解释性，增强用户对推荐结果的信任度。本文将通过详细介绍CatBoost的原理及实践应用，并结合实际场景案例，来全面剖析推荐系统的各个环节及其挑战。CatBoost是什么?为什么需要用CatBoost?如何使用CatBoost训练模型？使用CatBoost训练出来的模型怎么做推荐?为什么推荐效果不佳?有哪些原因?
【2025算法面试通关】【八.推荐算法-工程实践】【53. 推荐系统工程实践面试合集试题：从基础到高级全解析】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-15 507
多路召回策略是指从不同维度、不同策略分别生成候选集，再通过融合层进行整合的召回机制。优势在于覆盖不同用户偏好、避免单一模型偏差、提升系统鲁棒性。
如何通过机器学习和算法模型，构建华为预测服务
HarmonyOS SDK闭源开放能力技术团队
04-06 1938
预测服务基于华为分析服务（Analytics Kit）上报的用户行为数据和属性，结合机器学习技术，实现特定目标人群的精准预测。针对预测生成的细分受众群体，开展和优化相关运营举措，如通过A/B测试评估运营活动效果、远程配置特定受众群体的专属套餐等，可有效帮助产品提高用户留存，增加转化。 使用预测服务前，需要先集成华为分析服务的SDK，这样系统才可以顺利开展流失、付费、复购以及自定义预测任务。在详情界面可以查看相关预测人群的高中低概率对应人群数量，及其相应的属性分布（比如详情页的高概率流失人群，表示该
「推荐系统中的特征工程」02：推荐系统与特征工程
大数据与人工智能
10-13 813
作者|gongyouliu编辑 | auroral-L全文共9020字，预计阅读时间60分钟。大家好，我是强哥。一个热爱暴走、读书、写作的人！本章目录一、推荐系统简介 1. 什么...
【推荐系统】特征工程（1）
littlemichelle
03-16 345
转 工业界推荐系统怎么做特征？ - billlee的回答 - 知乎 背景 数据、算法、算力是拉动人工智能前进的三驾马车。数据就是信息，有信息算法才能发挥作用。garbage in， garbage out，什么样的信息输入基本就决定了什么样的结果输出。在推荐系统中，数据的质量基本决定了推荐效果的上限，而数据质量主要由特征构建、数据清洗等过程决定。 特征构建 做特征，需要紧紧围绕目标去做特征，而不是为了做特征而做特征，不合适的特征后续的存储、维护、取舍都会非常让人头疼，特别是对于海量数据、大量离线特征
推荐系统中的数据清洗与特征工程
AI天才研究院
12-31 1051
1.背景介绍 推荐系统是现代网络企业运营的核心组成部分，它通过对用户的行为、兴趣和需求进行分析，为用户提供个性化的产品或服务建议。数据清洗和特征工程是推荐系统的关键环节，它们直接影响推荐系统的性能和准确性。 在本文中，我们将深入探讨推荐系统中的数据清洗与特征工程，涵盖以下内容： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发...
【推荐系统简介以及其链路流程】
m0_48086806的博客
06-13 1559
【推荐系统简介以及其链路流程】
推荐系统（Recommender System）笔记 01：推荐系统的演化
MYJace的博客
08-24 3143
推荐系统（Recommender System）01推荐系统的架构数据部分模型部分传统推荐模型协同推荐（Collaborative Filtering）矩阵分解（Matrix Factorization）逻辑回归（Logistic Regression）自动特征交叉的解决方案POLY2 模型 - 特征交叉的开始FM 模型 - 隐向量特征交叉FFM 模型 - 引入特征域* 从 POLY2 到 FFM 的演化过程GBDT + LR - 特征工程模型化GBDT 模型LS-PLM - 阿里曾经的主流推荐模型深度学习
搜索推荐业务场景下的特征系统搭建
zhouwenyuan1015的博客
03-17 827
转载：https://zhuanlan.zhihu.com/p/79874983?utm_source=wechat_session 前提：前阵子受朋友的邀约，结合自己在推荐搜索系统下的经验，对企业级别特征工程应该如何进行设计，进行了一次分享，下面将这次分享的内容记录下来，以便有需要的朋友进行查看一、融合众多推荐系统、搜索系统下的，特征系统的总结1：一个好的特征搜索推荐业务特征体系一定要全面来进行...
推荐系统模型特征及训练样本处理
小叮当的博客
03-30 4301
文章目录Spark处理特征和样本优势物品和用户特征最终的训练样本 Spark处理特征和样本优势 既然选择用Tensorflow框架进行模型训练，为什么不用Tensorflow处理特征和样本呢？ 答：Spark的专长就是数据处理，而Tensorflow不擅长分布式的并行数据处理，在并行数据处理能力上远不及成百上千节点的Spark的。在面对海量数据的时候，利用Spark进行数据清洗、数据预处理、特征提取的话，可以为Tensorflow减轻负担。 物品和用户特征 MovieLens数据集中，可供我们提取特征的
【深度学习入门到进阶项目实战专栏简介】含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等以及深度学习如何应用
丨汀、的博客
04-18 2940
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识,后续会不断增添实战环节（比赛、论文、现实应用等）专栏订阅：深度学习入门到进阶专栏 A.深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数A.深度学习基础入门篇[二]：机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解A.深度学习基础入门篇[三]：优化策略梯度
神经网络预测算法
03-12
### 神经网络预测算法的实现与应用 #### 神经网络预测算法概述 神经网络是一种模仿生物神经系统功能和结构的信息处理系统，能够通过大量数据的学习来调整内部参数，从而完成复杂的映射关系建立。在机器学习领域中，神经网络作为一种重要的算法或模型，用于从数据中自动学习并提取模式[^2]。 对于神经网络而言，在面对具体的预测任务时，会经历两个主要阶段——训练阶段以及测试/推理阶段： - **训练阶段**：在此期间，利用已知输入输出样本对（即标记的数据），采用诸如梯度下降法之类的最优化策略不断更新权重矩阵Wij及其偏置项bi直至损失函数E收敛至局部最小值附近；此过程中涉及到前向传播计算预期输出y_hat及误差δ，并借助反向传播机制传递这些信息以修正连接强度w_ij。 - **测试/推理阶段**：当获得满意的拟合精度之后，则可将待测实例送入已经过充分调校后的网络架构之中执行正向运算流程得出最终判定结论z*。 ```python import numpy as np from sklearn.model_selection import train_test_split from keras.models import Sequential from keras.layers import Dense, Dropout def create_model(input_dim): model = Sequential() # 添加隐藏层 model.add(Dense(64, activation='relu', input_shape=(input_dim,))) model.add(Dropout(0.5)) # 输出层 model.add(Dense(1, activation='sigmoid')) return model X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) model = create_model(X.shape[1]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) history = model.fit(X_train, y_train, epochs=20, batch_size=32, validation_data=(X_test, y_test)) loss_and_metrics = model.evaluate(X_test, y_test) print(loss_and_metrics) ``` 上述代码展示了如何构建一个简单的二分类问题下的全连接型人工神经元网络，并完成了基本配置、编译操作以及训练过程演示。值得注意的是，这里仅选取了一个较为基础的例子来进行说明，实际上根据不同应用场景需求还可以进一步扩展复杂程度更高的卷积核池化单元或者循环门控记忆体等特殊组件加入进来形成更强大的表达能力。 #### 应用场景举例 神经网络广泛应用于各个行业当中，特别是在那些难以找到显式解析解的任务上表现尤为突出。例如但不限于以下几个方面： - 图像识别：通过对海量图片资料库进行深度挖掘分析进而区分不同类别对象； - 自然语言理解：让计算机读懂人类日常交流所使用的文字表述形式； - 时间序列建模：针对连续变化趋势做出精准预估判断如股票价格走势预测等； - 推荐系统：依据用户历史行为偏好为其推送个性化商品服务推荐列表。 #### 关键挑战与发展机遇 尽管取得了诸多成就，但在实际工程落地实施环节仍然面临不少困难亟需克服。一方面由于模型本身高度依赖于高质量标注过的大型数据库支撑才能发挥最佳效能，另一方面硬件设施成本投入较大且耗电量惊人不利于大规模普及推广。不过随着云计算平台资源日益丰富加上专用集成电路芯片技术进步带来的效率提升，相信未来几年内这些问题都将逐步得到妥善解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值