- 博客(199)
- 收藏
- 关注
RSS订阅原创 概率统计面试题4：A比B多抛一次硬币，求P(A正面向上次数) ＞ P(B正面向上次数)
在A抛51次硬币、B抛50次硬币的情况下，硬币是公平的，每次抛掷正面向上的概率为0.5。设X为A正面向上次数，Y为B正面向上次数，需要求。这一结果适用于任何公平硬币抛掷，当A抛n+1次、B抛n次时，P(A正面次数 > B正面次数)恒为0.5。因此，在本问题中，概率为0.5。A抛51次硬币，B抛50次硬币，求P(A正面向上次数) > P(B正面向上次数)令Z为A前50次抛掷的正面次数，则Z与Y同分布（均服从二项分布。A的第51次抛掷记为W，W服从伯努利分布（通过概率分析，可以发现。由于Z和Y同分布，有。
2025-09-16 00:39:14
224
原创 概率统计面试题3：先抛硬币的人的获胜概率
在A和B轮流抛硬币的游戏中，A是先手，硬币是公平的（正面和反面的概率均为0.5）。A、B两个人先后手抛硬币，谁抛到正面谁算赢。假设硬币均匀，抛到正反面的概率都是0.5，求先手抛的人获胜的概率。因此，先手抛硬币的玩家A获胜的概率为。
2025-09-16 00:17:23
156
原创 概率统计面试题2：随机抛掷两点到圆心距离较小值的期望
表示两个点中到圆心距离较小的那个距离。半径为R的圆里随机抛两个点，记这两个点到圆心的距离为。是独立同分布的随机变量，其概率密度函数（PDF）为。在半径为R的圆内随机抛两个点，每个点到圆心的距离。因此，距离圆心近的那个点到圆心的距离的期望为。
2025-09-16 00:02:09
366
原创 概率统计面试题1：随机抛掷的点到圆心距离的期望
在半径为R的圆内随机抛一个点，点到圆心的期望距离可以通过概率论中的积分计算得到。半径为R的圆内随机抛一个点，求点到圆心的期望距离。因此，点到圆心的期望距离为。
2025-09-13 00:24:03
190
原创 机器学习面试题：逻辑回归Logistic Regression（LR）
逻辑回归的梯度表达式为：这个梯度用于梯度下降更新参数：其中 α 是学习率。
2025-09-13 00:17:57
1254
原创 Qwen-VL（阿里通义千问视觉语言模型）模型架构和损失函数介绍
组件功能实现特点视觉编码器提取图像特征基于CLIP的ViT-BigG强大的视觉特征提取能力视觉-语言适配器连接视觉与文本特征空间带位置注入的MLP/Cross-Attention核心创新点之一，注入空间位置信息大语言模型多模态信息融合与推理强大的语言理解和生成能力训练策略高效学习多模态能力三阶段（预训练->SFT->RLHF）循序渐进，高效且性能强大Qwen-VL架构的核心思想。
2025-09-10 00:59:03
1172
原创 DeepSeek模型架构和损失函数介绍
下面深入剖析一下DeepSeek训练过程中所使用的损失函数。与标准的GPT类似，但其最新的MoE架构（以DeepSeek-V2为例）引入了关键的创新，这使得其损失函数变得更加复杂和精巧。DeepSeek的训练同样分为预训练和微调/对齐两个主要阶段，不同阶段的损失函数有不同的侧重点。特性DeepSeek (以V2为例)说明与优势核心架构混合专家（MoE）以少量激活参数（21B）实现巨大模型容量（236B），推理效率极高，成本更低。关键技术Top-2 Gating， 稀疏激活。
2025-09-09 00:30:36
1571
原创 GPT（Generative Pre-trained Transformer）模型架构与损失函数介绍
对于一个给定的序列（例如一句话），其中是序列中的第 t 个词元（token）。训练目标： 基于之前的所有词元，最大化真实下一个词元出现的概率。损失函数是这个目标的负数对数似然（Negative Log-Likelihood）。对于单个时间步 t 的损失是：其中：是模型在时间步 t 根据上文计算出的、对于词元的预测概率。代表模型的所有参数。是自然对数。取对数是数学上的标准做法，可以将连乘转化为求和，并且惩罚模型对其预测的“不确定性”（即概率很低时，值会很大）。
2025-09-09 00:00:52
919
原创 ReACT Agent概述
ReACT Agent 是一个将大型语言模型的推理能力与外部工具的执行能力相结合的框架。它通过“思考-行动-观察”的循环，让模型能够有计划、有步骤地解决复杂问题，其过程类似于人类解决问题的方式，既强大又透明。它是构建下一代 AI 智能代理（如 AutoGPT、BabyAGI 等）的核心技术基础之一。
2025-09-03 21:50:44
695
原创 MCP（Model Context Protocol）介绍
MCP（Model Context Protocol）是一个革命性的开放协议，它通过标准化 LLM 与外部工具和数据源的交互方式，安全、高效地打破了AI模型的“信息茧房”和“无能之困”。它不仅是技术上的进步，更是生态和理念上的开放，为构建真正强大、实用且可控的AI应用奠定了坚实的基础。
2025-09-03 20:48:40
1100
原创 影石深度学习面试题：Conv与BN合并的好处
线性操作：卷积和推理时的BN都是（或可以简化为）线性操作。多个连续的线性操作可以合并为一个等效的线性操作。这是合并的数学基础。推理阶段确定性：只有在推理阶段，BN层的参数（μ, σ², γ, β）才是固定不变的常数。在训练阶段，μ 和 σ² 随着批次变化，所以无法合并。因此，这个技巧专门用于模型部署和推理加速。按通道操作：BN层是逐通道进行缩放和平移的，这与卷积层输出特征图的通道数完全对应。因此，我们可以为每个通道计算出一组独一无二的(k, d)系数，然后作用于该通道对应的所有卷积核权重上。
2025-09-03 00:28:37
883
原创 美团面试手撕：手动实现开方函数math.sqrt(x)
这个代码实现了一个手动计算平方根的函数，使用二分查找法来逼近平方根的值。对于小于1的正数，平方根会大于x本身但小于1，所以二分查找区间设为[x, 1]对于大于1的数，平方根会在0和x之间，所以二分查找区间设为[0, x]对于不同范围的输入值（x<1和x≥1）采用不同的初始区间，提高效率。如果中点平方小于x，说明平方根在中点右侧，将下限low调整为中点。如果x是0或1，直接返回x（因为√0=0，√1=1）：当区间足够小时，返回区间的中点作为平方根的近似值。如果输入x是负数，抛出异常（负数没有实数平方根）
2025-08-27 19:44:50
256
原创 字节面试手撕题：神经网络模型损失函数与梯度推导
本文针对使用Sigmoid激活函数的神经网络模型展开讨论。首先给出了Sigmoid函数表达式及其导数推导，并说明二分类问题采用交叉熵损失函数。其次推导了反向传播中损失函数对参数的梯度表达式。然后分别给出了单个样本和批量为10时的参数更新表达式。最后分析了训练中出现NaN值的可能原因，包括学习率过高、梯度爆炸、数据问题等，并提出了降低学习率、梯度裁剪、数据检查等排查方法。全文重点阐述了该神经网络模型的数学推导和常见问题解决方案。
2025-08-27 18:35:06
1037
原创 字节面试手撕题：二叉树中链表路径存在问题
本题要求判断在二叉树中是否存在一条从某个节点开始向下（向左或向右）的路径，其节点值序列与给定的链表完全重合。解决该问题的主要思路是使用深度优先搜索（DFS）遍历二叉树的每个节点，并对于每个节点，检查是否从该节点开始有一条路径与链表匹配。：最坏情况下需要遍历二叉树中的每个节点，并且对于每个节点，最坏情况下需要遍历整个链表，因此时间复杂度为 O(n * m)，其中 n 是二叉树节点数，m 是链表长度。：由于递归调用，空间复杂度为 O(h)，其中 h 是二叉树的高度，表示递归栈的最大深度。如果二叉树节点为空（
2025-08-27 17:53:37
431
原创 峰值检测算法：AMPD（Automatic Multiscale Peak Detection）讲解
AMPD（Automatic Multiscale Peak Detection）算法是一种用于自动检测一维信号中峰值的方法。该算法不需要预先设置阈值，能够自适应地检测不同幅值和宽度的峰值，对噪声具有一定的鲁棒性。
2025-08-27 14:38:31
400
原创 经典聚类算法讲解：K-means 和 DBSCAN
特性K-meansDBSCAN核心思想距离划分，最小化簇内方差密度相连，最大化密度扩展簇形状只能发现球形簇能发现任意形状的簇簇数量必须预先指定 K无需指定，自动确定噪声处理非常敏感，会严重影响中心点非常鲁棒，能直接识别噪声点参数K（簇数）eps（半径），MinPts（最小点数）结果稳定性对初始中心点选择敏感，多次运行结果可能不同对参数敏感，但参数固定后，多次运行结果稳定计算效率高效，适用于大规模数据低维数据效率尚可，高维数据效率较低适用场景数据集庞大、簇呈球形分布、簇大小均匀。
2025-08-27 14:27:17
1072
原创 大模型赋能搜索推荐系统的概述
用大模型做搜索推荐，其发展脉络是从“工具”到“大脑”初期：作为特征生成器和语义编码器，赋能现有系统。中期：作为意图理解和重排的核心模块，深刻影响搜索链路的头尾。远期：作为端到端的生成式系统，直接创造个性化、对话式的搜索推荐体验。当前业界大部分公司处于从初期向中期过渡的阶段，积极将LLM应用于查询改写、内容理解和列表重排等场景，以显著提升系统的语义理解能力和用户体验。而完全的端到端生成式系统，仍是探索中的未来方向。
2025-08-27 14:16:06
737
原创 广告推荐领域常用模型概述（LR、FM、FFM、GBDT、Wide&Deep、DeepFM，MTL，双塔模型）
广告推荐模型1：逻辑回归（Logistic Regression，LR）-CSDN博客做法：可以看作单层的神经网络。通过sigmoid函数将线性回归的输出映射到(0,1)区间，得到点击概率。模型形式为：。它的核心在于特征工程，需要人工构造大量的交叉特征（如）才能捕捉模式。优点模型简单，可解释性强。训练和推理速度快。在特征工程做得好的情况下，效果不错（擅长“记忆”）。缺点依赖繁琐的人工特征工程，成本高。无法学习训练集中未出现过的特征组合，泛化能力差。只能处理线性关系，无法捕捉非线性关系。模型。
2025-08-27 12:31:11
1070
原创 广告推荐模型8：双塔模型
优点：极高的服务效率：线上延迟极低，能应对亿级规模的候选集，是召回任务的完美解决方案。服务成本低：只需要存储用户塔和物品塔的模型参数，以及一个预构建好的向量索引库。可解释性：可以通过分析向量之间的相似度来理解为什么某个广告被召回。缺点与挑战：信息损失（“双塔困境”）：用户和广告的特征在塔底就完全隔离，无法进行精细的早期特征交互（例如：无法建模“年轻男性用户”与“游戏广告”这个强组合），导致模型表达能力上限不如精排模型。冷启动问题。
2025-08-27 11:59:07
871
原创 广告推荐模型7：多任务学习 (Multi-Task Learning, MTL)
优点：效果提升：通过任务间共享表示，有效解决数据稀疏问题，提升尤其是稀疏任务（如CVR）的预估精度。效率提升：一个模型代替多个模型，大大降低了计算、存储和运维成本。正则化效果：减少过拟合，模型泛化能力更强。业务对齐：天然适合需要优化多个业务目标的场景（如同时优化点击、时长、分享）。缺点/挑战：任务冲突：如果任务间相关性很弱，可能会相互干扰。需要MMoE等高级结构来解决。损失权重调优：如何平衡Loss_CTR和Loss_CVR的权重（w1w2）是一个需要精心调整的超参数。模型复杂。
2025-08-27 11:37:24
677
原创 广告推荐模型6：DeepFM模型
1. 端到端学习，无需特征工程彻底告别了手工设计特征交叉（如GBDT+LR方案）或设计Wide部分特征（如Wide&Deep方案）的繁琐过程。模型自动学习所有阶次的特征交叉。2. 同时高效学习低阶与高阶特征组合FM部分：专家级的低阶交叉捕捉器。DNN部分：强大的高阶交叉挖掘机。两者互补，使得模型无论在简单模式还是复杂模式上都表现优异。3. 共享嵌入层带来的效率与效果提升共享嵌入使得特征表示在两部分之间是统一的，避免了学习不一致的矛盾。
2025-08-27 00:37:09
712
原创 广告推荐模型5：Wide&Deep模型
优点：兼顾记忆与泛化：这是其最大成功之处。Wide部分确保不错过那些明确的、高频的规则，保证了推荐的准确性；Deep部分能够探索新的、潜在的兴趣，保证了推荐的多样性和新颖性。联合训练：端到端的训练方式使得两部分可以相互补充、相互修正，比单独训练两个模型再融合效果更好。实践效果卓越：在Google的线上A/B测试中，显著提升了APP的下载率，证明了其商业价值。缺点：Wide部分仍需人工特征工程：模型的效果在一定程度上仍然依赖于算法工程师设计出高质量的交叉特征。这需要领域知识且费时费力。（这正是后续。
2025-08-27 00:32:36
737
原创 广告推荐模型4：梯度提升决策树（Gradient Boosting Decision Tree，GBDT）
优点：强大的非线性表达能力：能自动捕获复杂的高阶特征交互，无需人工干预。出色的特征选择能力：对特征缺失不敏感，能自动忽略无关特征，使用分裂时带来最大信息增益的特征。处理混合类型特征：能天然地处理连续值和离散值特征，无需像线性模型那样进行复杂的预处理（如One-Hot）。预测阶段速度快：虽然训练慢，但预测过程就是遍历几棵树，速度非常快。缺点：训练过程串行，无法并行：因为每一棵树都在学习前一棵树的残差，训练过程是顺序的，训练速度较慢。不适合超大规模稀疏特征。
2025-08-27 00:19:11
867
原创 广告推荐模型3：域感知因子分解机（Field-aware Factorization Machine, FFM）
优点：建模能力更强：通过引入“域”的概念，模型对特征交叉的学习变得无比精细，效果通常显著优于FM。可解释性（宏观）：虽然参数变多，但我们仍然可以通过分析不同域间交互的总体强度，来理解哪些域的组合对业务目标更重要。缺点：参数量爆炸：这是FFM最致命的缺点。参数总量从FM的n*k个暴增到n * f * k个（f是域的个数）。对于特征量大、域多的场景，模型体积会变得非常庞大。训练速度慢：由于参数增多和计算变得复杂，FFM的训练时间通常比FM长一个数量级。对特征Field设计敏感。
2025-08-26 23:53:26
1050
原创 广告推荐模型2：因子分解机（Factorization Machines, FM）
优点：自动特征交叉：无需人工参与，自动学习所有二阶特征组合，解放了生产力。强大的泛化能力：通过隐向量，能够对未出现过的特征组合进行有效预测，这在极度稀疏的广告场景下至关重要。高效的计算性能：通过数学变换，时间复杂度优化到O(kn)，可用于工业级大数据场景。缺点：仅限于二阶交叉：虽然二阶交叉很重要，但更高阶的组合（如“年轻男性在晚上使用iOS设备看游戏广告”）可能也包含重要信息，标准FM无法捕获。（后续的DeepFM等模型解决了这个问题）隐向量内积不一定是最优。
2025-08-26 23:34:53
1163
原创 广告推荐模型1：逻辑回归（Logistic Regression，LR）
LR模型本身无法理解“男”、“游戏”这些类别数据，我们必须将其转化为数值特征（数字化）。假设我们是某个短视频平台（比如TikTok），要决定是否给用户Alice在信息流中展示一条《王者荣耀》的游戏广告。，则预测为“点击”，否则预测为“不点击”。：模型简单，训练和预测速度非常快，适合需要高并发、低延迟响应的广告系统（每秒要处理百万次请求）。通过在海量的“展示-点击/不点击”数据上反复进行这个过程，模型最终学习到各个特征权重的最佳值。现在，我们将特征值（X）和权重（W）对应相乘并求和，计算线性分数。
2025-08-26 23:04:09
803
原创 百度面试题：赛马问题
假设排名结果为：A组第1名最快（记为A1）、B组第1名次快（B1）、C组第1名第三快（C1）、D组第1名第四快（D1）、E组第1名最慢（E1）。（3）确定第二快和第三快马的候选者：第二快的马可能是B1或A2（因为A组第2名可能比B1快），第三快的马可能来自A2、A3、B1、B2、C1。具体来说，候选马匹包括：A2、A3、B1、B2、C1。这样，我们知道每组的排名（假设每组排名从最快到最慢为：第1名、第2名、第3名、第4名、第5名）。其中，最快的马就是所有马中第二快的马，第二快的马就是所有马中第三快的马。
2025-08-23 23:48:51
437
原创 百度深度学习面试：batch_size的选择问题
特性batch_size = 全数据集中等 batch_size (e.g., 32, 64, 256)梯度质量噪声大，方差高非常精确，方差低噪声适中，是真实梯度的良好估计训练稳定性非常不稳定非常稳定相对稳定收敛速度慢（步数多）快（步数少）但每步慢总计算时间最优泛化能力通常较好（噪声正则化）通常较差（陷尖锐最小点）最好（噪声与稳定性的平衡）硬件利用率极低（无法并行）高（但可能内存受限）极高（完美并行）内存需求很低极高可调节最佳实践从一个适中的值开始。
2025-08-23 23:38:45
1224
原创 计算机视觉工程师业务场景题：智能推荐视频封面
SSIM（Structural Similarity Index Measure，结构相似性指数）是一种用于衡量两幅图像感知相似度的全参考图像质量评价指标，由王舟等人于2004年提出。相较于传统的MSE（均方误差）、PSNR（峰值信噪比），SSIM 更符合人类视觉系统（HVS）特性，能更好地反映图像内容的结构信息损失。核心思想SSIM 认为人眼主要感知图像中的结构信息（如边缘、纹理），而非绝对像素差异。亮度（Luminance）：比较平均亮度对比度（Contrast）：比较标准差（对比度）
2025-08-23 23:25:35
823
原创 推荐算法工程师业务场景面试题：货单推荐到货物运输公司的推荐系统方案
双塔模型的核心思想是将推荐问题转化为一个大规模检索（召回）问题。其目标是为用户（User）在庞大的候选物品（Item）库中快速找到一小部分最相关的物品。一个形象的比喻是“相亲配对1.用户塔：就像一个“相亲资料生成器”，根据用户的个人信息、历史行为等，生成一份浓缩了用户兴趣和特征的“个人简历”（用户向量）。2.物品塔：就像一个“对象资料生成器”，根据物品自身的属性、描述、历史交互数据等，生成一份浓缩了物品特性的“介绍卡片”（物品向量）。3.匹配过程。
2025-08-10 20:38:43
924
原创 计算机视觉面试保温：CLIP（对比语言-图像预训练）和BERT技术概述
CLIP 通过利用自然语言作为监督信号，结合海量数据和对比学习，成功地学习了一个强大的联合图像-文本表示空间。其零样本迁移能力是计算机视觉领域的一个重大突破，极大地降低了将视觉模型应用于新任务的门槛，并展示了大规模多模态预训练的惊人潜力。CLIP 不仅本身是一个强大的工具，更重要的是，它开创了一种新的范式，启发了后续大量多模态模型（如ALIGN, Florence, LiT等）的研究和发展，并成为当前生成式AI浪潮（如文生图）不可或缺的关键技术组件之一。
2025-08-05 18:43:54
1184
原创 论文阅读：SIoU Loss: More Powerful Learning for Bounding Box Regression
目标检测作为计算机视觉任务的核心问题之一，其有效性高度依赖于损失函数的定义——损失函数衡量机器学习模型预测预期结果的准确度。传统的目标检测损失函数依赖于边界框回归指标的聚合，例如预测框与真实框（ground truth）之间的距离、重叠面积和宽高比（即GIoU、CIoU、ICIoU等）。然而，迄今为止提出和使用的方法均未考虑目标真实框与预测"实验"框之间不匹配的方向。这种不足导致收敛速度更慢且效果较差，因为预测框在训练过程中可能"徘徊"，最终产生更差的模型。
2025-08-05 10:17:11
866
原创 论文阅读：DeepSeek-V3 Technical Report
我们提出了 DeepSeek-V3，这是一个强大的专家混合模型（Mixture-of-Experts, MoE）语言模型，总参数为 6710 亿（671B），每个 token 激活 370 亿（37B）参数。为实现高效推理和高性价比训练，DeepSeek-V3 采用了多头潜在注意力（Multi-head Latent Attention, MLA）和 DeepSeekMoE 架构，这些架构已在 DeepSeek-V2 中得到充分验证。
2025-08-05 00:15:30
1577
原创 匈牙利算法（Hungarian Algorithm）介绍
匈牙利算法是计算机视觉中解决最优分配问题的基石算法。它通过寻找二分图的最小权/最大权完美匹配，为一组对象在另一组对象中找到最佳的、满足一对一约束的唯一对应关系。其核心优势在于强制一对一匹配和寻找全局最优解（在给定的代价矩阵下）。在多目标跟踪、特征点匹配、目标检测锚框分配等核心CV任务中发挥着不可或缺的作用。理解其原理、代价函数设计以及如何处理不匹配情况，对于有效应用该算法解决实际问题至关重要。
2025-07-23 00:23:01
1070
原创 Mosaic数据增强介绍
它通过显著增加图像中目标的密度和多样性、强制模型学习不同尺度和上下文、以及提高小目标检测能力，在目标检测任务（特别是基于 YOLO 的模型）中取得了巨大成功。尽管会生成视觉上不自然的图像并带来一些实现复杂性，但其在提升模型性能、特别是对小目标的鲁棒性方面的优势使其成为现代目标检测训练流程中一个不可或缺的组件。单张合成图像包含的信息量相当于一个小批次 (mini-batch) 的数据，即使物理批大小较小，模型在每次迭代中也能处理更丰富的信息，降低了训练对超大物理批大小的硬件要求。不如在目标检测中普及。
2025-07-23 00:04:30
1309
原创 YOLO12论文阅读：Attention-Centric Real-Time Object Detectors
文章链接：2502.12524。
2025-07-22 23:36:20
1492
原创 百度面试手撕：Softmax
在分类问题中，Softmax通常与交叉熵损失函数结合使用，此时梯度形式可以进一步简化（即直接为预测值与真实值的差）。这个推导假设了Softmax函数的输入是一个向量，并且输出也是一个向量。（3）接（2），把Softmax写成一个类，并实现前向传播和反向传播；在反向传播中，我们已知损失函数 L 对Softmax输出。（1）叙述Softmax的原理并写出计算代码；其中 ⊙ 表示逐元素乘法，1 是全1向量。，我们需要计算损失函数对输入 z 的梯度。在实际计算中，我们可以先计算标量。1. Softmax函数定义。
2025-07-22 00:16:12
338
原创 旋转目标检测（Rotated Object Detection）技术概述
单阶段方法凭借较好的速度-精度平衡成为研究和应用热点，尤其是基于FCOS、ATSS等无锚框框架的改进版本（如Rotated FCOS, S2A-Net）。GV、CSL、KLD/GWD等改进表示法和损失函数极大地缓解了角度回归问题。解决角度表示与回归的不连续性问题（CSL, GV, KLD等）和提升旋转不变/等变特征表达能力（数据增强、可变形卷积、特征对齐等）是核心。极端小目标、极端长宽比目标（如电线、舰船）的检测。密集排列、严重遮挡场景下的目标区分。旋转IoU计算的效率和可导性（虽有改进，仍是瓶颈）。
2025-07-21 22:26:18
1442
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人