- 博客(64)
- 收藏
- 关注
原创 如何确保程序化广告系统中微服务架构的高可用性和可扩展性?
在广告业务(DSP/DMP/ADX/ 聚合 SDK)的微服务架构中,核心是 “无单点、故障自愈、容灾兜底”,保证系统持续可用;核心是 “水平扩容、解耦松绑、弹性适配”,支撑流量 / 数据 / 功能的指数级增长。
2026-02-02 10:44:26
405
原创 程序化广告系统技术架构设计
业务解耦:微服务拆分后,DMP/DSP/ADX 可独立迭代,支持单独对接第三方(如 DSP 对接外部广告主,ADX 对接第三方流量);技术栈适配:Java 负责高并发工程能力,Python 专注算法训练,各司其职;数据闭环:从数据采集→画像构建→广告投放→效果反馈,形成完整闭环,支撑算法优化;可落地性:基于开源框架,降低技术成本,同时支持从小规模试点到大规模扩容的平滑过渡。
2026-02-01 15:24:15
572
原创 白话讲述监督学习、非监督学习、强化学习
你每做一个动作(比如加盐、开大火),都会得到一个“好不好”的反馈信号(奖励或惩罚)。他给你一大堆“菜的照片”(输入)和对应的“菜名标签”(正确答案)。比如聚类,分多少组合适?:用神经网络来近似复杂的“价值表”或“策略”,处理像游戏画面、机器人控制这样的高维输入。:比如把绿色的蔬菜放一堆,红色的肉类放一堆,或者把适合做沙拉的食材和适合炖汤的食材分开。:把相似的数据点分组。:发现数据中的关联规则,比如“买了啤酒的人,常常也会买尿布”。:只能预测训练时学过的类别或范围,对于全新的、没标签的数据无能为力。
2026-01-15 15:52:29
764
原创 AI类产品经理需要掌握的知识域及进阶路径
作为一名AI产品经理,正站在技术与商业的前沿。这个角色不仅需要传统产品经理的核心能力,更要求深入理解AI技术的边界与可能性。以下是你需要掌握的知识体系及清晰的进阶路径。
2026-01-15 15:33:02
875
原创 AppLovin MAX 产品集成手册
在您希望聚合的广告网络后台(如 Unity LevelPlay, IronSource, Meta Audience Network等),需要将您的 AppLovin MAX 应用添加为发布商,并获取对应的。请注意,SDK 版本和具体配置可能随时更新,请务必以上述官方文档为最新参考。这是 MAX 的核心功能,用于优化收益。,以便在 MAX 后台进行配置。
2025-12-15 15:53:08
1041
原创 【无标题】
与AppLovin MAX类似,IronSource LevelPlay 也采用了 “实时竞价 + 优化瀑布流”的混合模式**,但其具体实现和战略侧重点有自身的鲜明特色,尤其是其与 Unity引擎 和 Unity Ads 的深度绑定。在很多情况下,Unity Ads 的出价极具竞争力,尤其是在中重度游戏领域。3. 当真实的广告请求发生时,这个被缓存的 `$8` 出价可以直接被拿出来,与第1层实时竞价的出价(比如 Facebook 出 `$9`, Google 出 `$7`)**同台竞争**。
2025-11-25 14:24:15
340
原创 AppLovin MAX 瀑布流竞价的核心逻辑
特性AppLovin MAX 的核心逻辑模式混合模式:实时竞价 + 优化后的瀑布流请求方式并行请求:所有RTB网络同时出价。竞拍机制统一竞拍:将RTB最高出价与瀑布流中的出价放在一起进行最终竞拍,价高者得。核心优势公平性:让每次展示都能获得市场最高价。效率:降低延迟,提高填充率。自动化:通过算法和数据,简化了繁琐的瀑布流手动优化工作。开发者动作1. 优先接入所有支持的竞价网络(如Facebook、Google AdMob Bidding)。2. 设置一个精简而高效的瀑布流。
2025-11-25 10:19:29
802
原创 PubMatic 的 UID2.0 生成原理及应用场景
Token 与用户设备/IP 解耦,仅存储在可信服务器(UID2 Operator)中,供权限方按需调用。UID2.0(Unified ID 2.0)是由 The Trade Desk(TTD) 推动的开源身份框架,旨在替代第三方 Cookie 和设备 ID,实现隐私合规的跨平台用户识别。- 发布商使用 SHA-256 哈希算法对信息脱敏(例:`user@email.com` → `6b86b...273ff`)。用户身份(邮箱/手机号) → 单向加密 → 标准化广告 ID(UID2 Token)
2025-06-11 10:35:48
426
原创 Catboost算法原理及应用场景
今天给大家介绍一个Catboost 算法模型。CatBoost(Categorical Boosting)是由俄罗斯Yandex公司开发的一种高性能、开源的梯度提升决策树(Gradient Boosting Decision Trees, GBDT)算法库。它特别擅长处理包含的表格数据,并且在很多任务上展现出优异的性能和易用性。
2025-06-03 10:26:25
1356
原创 阿里巴巴DIN模型原理与Python实现
阿里巴巴的是一种用于点击率预测(CTR)的深度学习模型,特别针对电商场景中用户兴趣多样化和动态变化的特性设计。其核心思想是通过动态捕捉用户历史行为中与当前候选商品相关的兴趣。
2025-02-27 21:57:31
1590
原创 字节的豆包和Kimi 的优劣势对比
深度求索(DeepSeek)三款AI助手的对比分析,涵盖核心技术、功能特性、优劣势及适用场景.编程/数学/数据分析需求选DeepSeek。三者均支持免费基础版,可按需组合使用。,聚焦代码、数学、数据等复杂推理任务,适合开发者、科研人员。,适合C端用户日常使用,尤其依赖字节生态的场景。,适合需解析超长资料的研究、法律、写作领域。普通用户优先尝试豆包(功能全面,交互友好);、Kimi(月之暗面)长文本处理选Kimi;
2025-02-26 09:11:02
6349
原创 浅谈聚类算法
聚类算法是一种无监督学习方法,其核心目标是将数据集中相似的数据点划分为同一组(簇),同时使不同组之间的差异尽可能大。以下是聚类算法的原理、常见方法及其应用场景的详细说明。相似性度量 聚类依赖于数据点之间的相似性或距离计算,常用方法包括:欧氏距离(K-means)、曼哈顿距离余弦相似度(文本或高维数据)杰卡德相似系数(集合型数据)目标函数与优化通过优化目标函数(如最小化簇内距离、最大化簇间距离)实现分组。例如,K-means的目标是最小化簇内平方误差(SSE)。无监督性 无需标签,仅根据数据分布特征自动分
2025-02-24 09:28:49
1166
原创 Spark MLlib使用流程简介
Spark MLlib 是 Apache Spark 的机器学习库,提供分布式机器学习算法和工具,适用于大规模数据处理。通过以上流程,可以快速使用 Spark MLlib 构建分布式机器学习模型,适用于 TB 级数据处理。:逻辑回归、决策树、随机森林、梯度提升树。:将多个转换器和估计器串联为工作流。# 加载数据(示例:CSV 文件):K-means、高斯混合模型。:确保数据已分区并适合并行处理。:超参数调优、保存/加载模型。:交替最小二乘法(ALS)。:线性回归、广义线性回归。:所有特征必须合并为。
2025-02-23 10:53:06
1287
原创 浅谈协同过滤(Collaborative Filtering, CF)算法
协同过滤是一种基于。它不依赖物品本身的属性(如商品描述),而是通过挖掘用户与物品的交互历史(如评分、点击、购买)来预测用户兴趣。接下来,我这里从实现方法、应用场景、与其他推荐算法的比较来展开说明。
2025-02-22 19:40:00
1213
原创 浅谈Word2vec算法模型
Word2vec 是一种基于神经网络的词嵌入(Word Embedding)模型,通过无监督学习将词语映射到低维稠密向量空间,使得语义相近的词语在向量空间中距离相近。模型的核心目标是将语法的语义和语法特征编码为向量形式。 CBOW (Continuous Bag-of-Words)输入:上下文词的向量(如窗口内的周围词)。输出:预测中心词的概率分布。适用场景:小规模数据集,高频词效果更好。Skip-gram输入:中心词的向量。输出:预测上下文词的概率分布。适用场景:大规模数据集,低频词效果更好。负采样 (
2025-02-21 18:07:34
911
原创 浅谈斐波那契堆
斐波那契堆是一种优先队列数据结构,具有较好的平摊时间复杂度,特别是在合并堆和减少键操作上表现优异。斐波那契堆的结构特点。它由一组最小堆有序的树组成,每棵树都是符合最小堆性质的,但不像二项堆那样严格的结构。每个节点有父指针、孩子链表,以及左右兄弟指针,这样形成一个环形双向链表。节点还需要记录度数、标记(mark)等属性。标记用于在删除节点时判断是否需要级联剪切,以保持结构的平衡。接下来,我们从数据结构、操作原理来大概讲一下。
2025-02-20 09:55:37
986
原创 Sklearn常用算法及建模流程总结
Scikit-learn(简称 Sklearn)是 Python 中最流行的机器学习库之一,提供了丰富的算法和工具用于数据预处理、模型训练、评估和调优。:线性模型和决策树可解释性强,随机森林和神经网络较难解释。:确保数据清洗和标准化,避免特征量纲影响模型。过拟合:使用正则化、交叉验证、简化模型。欠拟合:增加特征、使用复杂模型。: 集成多个决策树,抗过拟合。: 基于密度的噪声鲁棒聚类。: 可解释性强的树模型。: 基于距离的简单分类。: 解决线性回归过拟合。: 基于距离的经典聚类。: 高性能集成算法。
2025-02-19 21:15:03
1134
原创 DeepFM算法原理及应用场景
DeepFM(Deep Factorization Machine)是一种结合了因子分解机(Factorization Machines, FM)和深度神经网络(DNN)的混合模型,主要用于处理高维稀疏数据(如推荐系统中的点击率预测)。其核心思想是同时捕捉低阶(线性)和高阶(非线性)特征交互。
2025-02-19 09:18:46
1849
原创 大一的你如何入门TensorFlow
首先可能需要巩固Python基础,特别是NumPy和数据处理相关的库,因为TensorFlow很多操作和这些库有关联。比如,监督学习、损失函数、梯度下降这些概念,需要先有个初步的认识。通过以上路径,你可以在实践中逐步掌握 TensorFlow 的核心功能,同时打下扎实的机器学习基础。相信四年后,你会收获满满。学习 NumPy 库:TensorFlow 的张量(Tensor)操作与 NumPy 的数组操作高度相似。学习 CNN(图像)、RNN(时序数据)、Transformer(自然语言处理)。
2025-02-18 18:26:53
2067
原创 浅谈DNN(深度神经网络)算法原理
深度神经网络(Deep Neural Network, DNN)是一种基于人工神经网络的机器学习模型,它由多个隐藏层组成,能够自动从大量数据中学习复杂的模式和特征。DNN 的基本结构包括输入层、多个隐藏层和输出层。
2025-02-18 09:12:01
2581
原创 浅谈推理大模型中使用核心的算法
推理大模型(如 GPT、PaLM、LLaMA 等)的核心算法原理围绕如何高效生成高质量文本或解决复杂任务展开。以下是关键算法的原理详解,从数学基础到实际应用逐步解析。
2025-02-17 19:02:05
1520
原创 动态多线程算法概述
动态多线程在Python中通过合理的设计,能够有效提升I/O密集型应用的吞吐量。是指根据任务负载动态调整线程行为(如线程数量、任务分配、资源调度)的多线程实现方式。与静态多线程(固定线程数、预分配任务)相比,动态多线程更适合处理。# 动态扩展:队列长度超过阈值时增加线程。:Python线程不适合CPU密集型任务(需改用多进程)# 执行任务(模拟I/O操作):任务在运行时动态产生(如递归分解、实时数据流)。# 动态提交任务(可根据条件随时添加)当队列任务超过3个时,逐步扩容到最大4线程。
2025-02-16 09:28:52
842
原创 浅谈亚马逊A9算法的应用场景及实现原理
对卖家而言,理解A9的核心逻辑(如“转化率为王”)是获取流量、提升销量的关键。对技术从业者,A9的设计体现了多目标排序、实时计算和NLP等技术的深度融合,是电商搜索算法的经典案例。:新上架商品缺乏历史销售数据时,A9通过元数据(标题、类目、属性)和初期用户行为(如点击率)快速评估其潜力。使用BERT等模型分析搜索词与商品描述的语义相似性,解决同义词问题(如“手机壳” vs “手机保护套”)。:使用逻辑回归(LR)、梯度提升树(GBDT)或深度模型(如DeepFM)预测用户点击或购买概率。
2025-02-15 15:02:31
2744
原创 元学习在系统冷启动策略中的应用
将每个新用户、新物品或新场景视为一个独立任务(Task),元学习模型通过大量类似任务(如已有用户/物品的行为数据)学习如何快速适应新任务。:元学习器(Meta-Learner)从多任务中提取通用模式(如用户偏好共性、物品属性关联性),作为冷启动任务的初始知识。:面对冷启动任务时,元学习模型仅需少量样本(Few-Shot)即可调整参数,降低对数据的依赖。:将每个用户视为一个任务,元学习模型学习初始化参数,使新用户只需少量交互数据即可调整模型。:从其他平台(如有丰富数据的电商平台)学习元知识,迁移到新平台。
2025-02-15 13:48:00
1195
原创 Deepseek本地部署和网页版本区别
本地部署是指将DeepSeek的模型和服务部署在用户自己的服务器或本地机器上,而网页版则是通过浏览器访问的在线服务。我们接下来将从数据隐私、成本、定制等多方面评估一下本地部署与网页版的区别。现在网上很多文章都是建议大家去做本地部署,我觉得无论是个人还是企业,都要根据自身的需求综合评估后再做决定。return deepseek_web_api.call(request) # 走网页版API。:模型量化技术(如GGUF格式)使7B参数模型可在消费级GPU运行。:出现行业专属API端点(医疗版/法律版等)
2025-02-14 14:01:17
5062
原创 新用户冷启动阶段使用的推荐算法策略
首先,我得先理解什么是冷启动问题。冷启动通常指系统在缺乏足够用户行为数据时,如何有效地推荐内容。新用户没有历史交互,所以传统协同过滤方法可能不适用。因此,我需要考虑其他策略。常见的冷启动策略有哪些呢?大概有几种:基于热门推荐、基于元数据或内容的推荐、利用注册信息、基于规则的推荐、跨域推荐、探索与利用策略(比如多臂老虎机),还有混合方法。
2025-02-14 12:47:55
1945
原创 YouTube的RL策略
YouTube 在推荐系统等多个领域使用强化学习来优化用户体验和业务指标。其核心的强化学习策略目标通常是最大化用户的长期参与度,例如观看时长、视频交互等。以下是 YouTube 强化学习应用的一些关键要点:1. 状态(State)状态通常包含了与用户、视频和上下文相关的各种特征。2. 动作(Action)动作通常是指推荐给用户的视频集合。在每一个时间步,算法需要从候选视频池中选择一个或多个视频推荐给用户。3. 奖励(Reward)奖励用于衡量推荐动作的好坏。4. 策略优化。
2025-02-10 12:41:54
907
原创 浅谈亚马逊的DRL 模型
在亚马逊的业务场景中,深度强化学习(DRL,Deep Reinforcement Learning)模型被广泛应用于多个领域,下面为你详细介绍相关应用及可能涉及的模型.
2025-02-10 11:35:46
1137
原创 浅谈马尔可夫决策(MDP)过程
状态(S):3个状态(s0, s1, s2)动作(A):2个动作(a0, a1)转移概率(P):手动定义奖励(R):状态s2为终止状态,奖励+10,其他转移奖励-1折扣因子(γ):0.9# MDP参数定义states = [0, 1, 2] # 状态:s0, s1, s2actions = [0, 1] # 动作:a0, a1gamma = 0.9 # 折扣因子# 转移概率 P(s'|s,a) 和奖励 R(s,a,s')P = {R = {
2025-02-09 10:54:17
1585
原创 浅谈DRN技术在推荐系统的作用及应用场景
深度强化学习(Deep Reinforcement Learning,DRL)与推荐系统的结合催生了深度强化推荐系统(Deep Reinforcement Learning-based Recommendation Systems),其中深度强化网络(Deep Reinforcement Network,DRN)作为核心技术框架,通过动态建模用户与系统的交互过程,显著提升了推荐的长期收益和个性化能力。下面我将从技术原理、核心作用和应用场景三方面进行深度解析。
2025-02-09 10:08:54
984
原创 浅谈模型鲁棒性
是指机器学习模型在面对输入数据扰动、噪声、分布偏移或对抗攻击时,仍能保持稳定性能和准确性的能力。鲁棒性强的模型对数据中的异常值、噪声、环境变化等干扰具有较强的容错能力,不会因输入的小幅变化导致输出结果的剧烈波动。
2025-02-08 11:04:41
2492
原创 浅谈混合精度训练
如BERT、GPT-3、Transformer等参数量巨大的模型,混合精度可降低显存占用,使单卡训练更大模型成为可能。自动将部分运算转换为FP16(如矩阵乘),其他运算保持FP32(如softmax),平衡速度与稳定性。如CLIP、ALBEF等融合视觉与文本的模型,混合精度减少多模态数据并行处理的显存消耗。解决FP16梯度值过小(下溢)的问题,通过放大梯度确保更新有效性,缩放因子自动调整。加速生成器和判别器的对抗训练过程,同时避免因FP16精度不足导致的训练不稳定。# 6. 更新权重(自动转为FP32)
2025-02-07 11:23:20
618
原创 浅谈自监督预训练
自监督预训练(Self-Supervised Pre-training)是无需人工标注数据、通过设计自动生成监督信号来训练模型的技术。它通过挖掘数据内在的结构化信息(如上下文关系、时间序列依赖、空间连续性等)构建预训练任务,使模型学习通用表征,最终迁移到下游任务中。以下是其核心原理、技术分类、实现方法及实际应用详解。
2025-02-05 11:35:43
2179
原创 TensorRT 原理及核心代码示例
TensorRT 是 NVIDIA 推出的高性能,通过等技术,显著提升模型在 GPU 上的推理速度。以下是其核心原理及代码实现。
2025-02-04 11:21:48
1956
原创 多模态融合技术及应用
多模态融合(Multimodal Fusion)是指将来自不同模态(如文本、图像、音频、视频、传感器数据等)的信息进行整合和协同处理的技术。其核心目标是,广泛应用于自动驾驶、医疗诊断、人机交互等领域。
2025-02-04 10:12:29
6815
原创 ZeRO(Zero Redundancy Optimizer) 技术
训练超大模型(如GPT-3)时,!:每个GPU都保存完整的模型、优化器状态、梯度,浪费显存。:梯度同步需要大量数据传输。:消除内存冗余,同时保持计算效率。将模型训练所需的(参数、梯度、优化器状态)到不同GPU上,每个GPU只保留一部分,需要时再通过通信获取。:如Adam中的动量(momentum)、方差(variance)。:反向传播后的梯度。:模型的权重。
2025-02-03 14:04:26
1110
原创 浅谈量化感知训练(QAT)
在训练阶段,就提前让模型“体验”被压缩后的效果(模拟低精度计算),这样模型自己会调整参数,尽量适应压缩后的环境。假设你训练了一个神经网络模型(比如人脸识别),效果很好,但模型太大(比如500MB),手机根本跑不动。反向传播时,用**直通估计器(STE)**绕过量化操作的梯度问题(简单理解:假装量化没误差,直接传梯度)。:直接压缩(训练后量化,PTQ)会导致精度暴跌,就像把高清图片压缩成马赛克,关键细节全丢了!:把模型参数(权重)从32位浮点数(FP32,高精度)转成8位整数(INT8,低精度)。
2025-02-03 12:50:29
2675
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅