- 博客(56)
- 收藏
- 关注
RSS订阅原创 PubMatic 的 UID2.0 生成原理及应用场景
Token 与用户设备/IP 解耦，仅存储在可信服务器（UID2 Operator）中，供权限方按需调用。UID2.0（Unified ID 2.0）是由 The Trade Desk（TTD） 推动的开源身份框架，旨在替代第三方 Cookie 和设备 ID，实现隐私合规的跨平台用户识别。- 发布商使用 SHA-256 哈希算法对信息脱敏（例：`user@email.com` → `6b86b...273ff`）。用户身份（邮箱/手机号） → 单向加密 → 标准化广告 ID（UID2 Token）
2025-06-11 10:35:48
184
原创 Catboost算法原理及应用场景
今天给大家介绍一个Catboost 算法模型。CatBoost（Categorical Boosting）是由俄罗斯Yandex公司开发的一种高性能、开源的梯度提升决策树（Gradient Boosting Decision Trees, GBDT）算法库。它特别擅长处理包含的表格数据，并且在很多任务上展现出优异的性能和易用性。
2025-06-03 10:26:25
853
原创 阿里巴巴DIN模型原理与Python实现
阿里巴巴的是一种用于点击率预测（CTR）的深度学习模型，特别针对电商场景中用户兴趣多样化和动态变化的特性设计。其核心思想是通过动态捕捉用户历史行为中与当前候选商品相关的兴趣。
2025-02-27 21:57:31
1286
原创 字节的豆包和Kimi 的优劣势对比
深度求索（DeepSeek）三款AI助手的对比分析，涵盖核心技术、功能特性、优劣势及适用场景.编程/数学/数据分析需求选DeepSeek。三者均支持免费基础版，可按需组合使用。，聚焦代码、数学、数据等复杂推理任务，适合开发者、科研人员。，适合C端用户日常使用，尤其依赖字节生态的场景。，适合需解析超长资料的研究、法律、写作领域。普通用户优先尝试豆包（功能全面，交互友好）；、Kimi（月之暗面）长文本处理选Kimi；
2025-02-26 09:11:02
2021
原创 浅谈聚类算法
聚类算法是一种无监督学习方法，其核心目标是将数据集中相似的数据点划分为同一组（簇），同时使不同组之间的差异尽可能大。以下是聚类算法的原理、常见方法及其应用场景的详细说明。相似性度量 聚类依赖于数据点之间的相似性或距离计算，常用方法包括：欧氏距离（K-means）、曼哈顿距离余弦相似度（文本或高维数据）杰卡德相似系数（集合型数据）目标函数与优化通过优化目标函数（如最小化簇内距离、最大化簇间距离）实现分组。例如，K-means的目标是最小化簇内平方误差（SSE）。无监督性 无需标签，仅根据数据分布特征自动分
2025-02-24 09:28:49
1014
原创 Spark MLlib使用流程简介
Spark MLlib 是 Apache Spark 的机器学习库，提供分布式机器学习算法和工具，适用于大规模数据处理。通过以上流程，可以快速使用 Spark MLlib 构建分布式机器学习模型，适用于 TB 级数据处理。：逻辑回归、决策树、随机森林、梯度提升树。：将多个转换器和估计器串联为工作流。# 加载数据（示例：CSV 文件）：K-means、高斯混合模型。：确保数据已分区并适合并行处理。：超参数调优、保存/加载模型。：交替最小二乘法（ALS）。：线性回归、广义线性回归。：所有特征必须合并为。
2025-02-23 10:53:06
1041
原创 浅谈协同过滤（Collaborative Filtering, CF）算法
协同过滤是一种基于。它不依赖物品本身的属性（如商品描述），而是通过挖掘用户与物品的交互历史（如评分、点击、购买）来预测用户兴趣。接下来，我这里从实现方法、应用场景、与其他推荐算法的比较来展开说明。
2025-02-22 19:40:00
906
原创 浅谈Word2vec算法模型
Word2vec 是一种基于神经网络的词嵌入（Word Embedding）模型，通过无监督学习将词语映射到低维稠密向量空间，使得语义相近的词语在向量空间中距离相近。模型的核心目标是将语法的语义和语法特征编码为向量形式。 CBOW (Continuous Bag-of-Words)输入：上下文词的向量（如窗口内的周围词）。输出：预测中心词的概率分布。适用场景：小规模数据集，高频词效果更好。Skip-gram输入：中心词的向量。输出：预测上下文词的概率分布。适用场景：大规模数据集，低频词效果更好。负采样 (
2025-02-21 18:07:34
664
原创 浅谈斐波那契堆
斐波那契堆是一种优先队列数据结构，具有较好的平摊时间复杂度，特别是在合并堆和减少键操作上表现优异。斐波那契堆的结构特点。它由一组最小堆有序的树组成，每棵树都是符合最小堆性质的，但不像二项堆那样严格的结构。每个节点有父指针、孩子链表，以及左右兄弟指针，这样形成一个环形双向链表。节点还需要记录度数、标记（mark）等属性。标记用于在删除节点时判断是否需要级联剪切，以保持结构的平衡。接下来，我们从数据结构、操作原理来大概讲一下。
2025-02-20 09:55:37
753
原创 Sklearn常用算法及建模流程总结
Scikit-learn（简称 Sklearn）是 Python 中最流行的机器学习库之一，提供了丰富的算法和工具用于数据预处理、模型训练、评估和调优。：线性模型和决策树可解释性强，随机森林和神经网络较难解释。：确保数据清洗和标准化，避免特征量纲影响模型。过拟合：使用正则化、交叉验证、简化模型。欠拟合：增加特征、使用复杂模型。: 集成多个决策树，抗过拟合。: 基于密度的噪声鲁棒聚类。: 可解释性强的树模型。: 基于距离的简单分类。: 解决线性回归过拟合。: 基于距离的经典聚类。: 高性能集成算法。
2025-02-19 21:15:03
953
原创 DeepFM算法原理及应用场景
DeepFM（Deep Factorization Machine）是一种结合了因子分解机（Factorization Machines, FM）和深度神经网络（DNN）的混合模型，主要用于处理高维稀疏数据（如推荐系统中的点击率预测）。其核心思想是同时捕捉低阶（线性）和高阶（非线性）特征交互。
2025-02-19 09:18:46
1001
原创 大一的你如何入门TensorFlow
首先可能需要巩固Python基础，特别是NumPy和数据处理相关的库，因为TensorFlow很多操作和这些库有关联。比如，监督学习、损失函数、梯度下降这些概念，需要先有个初步的认识。通过以上路径，你可以在实践中逐步掌握 TensorFlow 的核心功能，同时打下扎实的机器学习基础。相信四年后，你会收获满满。学习 NumPy 库：TensorFlow 的张量（Tensor）操作与 NumPy 的数组操作高度相似。学习 CNN（图像）、RNN（时序数据）、Transformer（自然语言处理）。
2025-02-18 18:26:53
1894
原创 浅谈DNN（深度神经网络）算法原理
深度神经网络（Deep Neural Network, DNN）是一种基于人工神经网络的机器学习模型，它由多个隐藏层组成，能够自动从大量数据中学习复杂的模式和特征。DNN 的基本结构包括输入层、多个隐藏层和输出层。
2025-02-18 09:12:01
2122
原创 浅谈推理大模型中使用核心的算法
推理大模型（如 GPT、PaLM、LLaMA 等）的核心算法原理围绕如何高效生成高质量文本或解决复杂任务展开。以下是关键算法的原理详解，从数学基础到实际应用逐步解析。
2025-02-17 19:02:05
1243
原创 动态多线程算法概述
动态多线程在Python中通过合理的设计，能够有效提升I/O密集型应用的吞吐量。是指根据任务负载动态调整线程行为（如线程数量、任务分配、资源调度）的多线程实现方式。与静态多线程（固定线程数、预分配任务）相比，动态多线程更适合处理。# 动态扩展：队列长度超过阈值时增加线程。：Python线程不适合CPU密集型任务（需改用多进程）# 执行任务（模拟I/O操作）：任务在运行时动态产生（如递归分解、实时数据流）。# 动态提交任务（可根据条件随时添加）当队列任务超过3个时，逐步扩容到最大4线程。
2025-02-16 09:28:52
687
原创 浅谈亚马逊A9算法的应用场景及实现原理
对卖家而言，理解A9的核心逻辑（如“转化率为王”）是获取流量、提升销量的关键。对技术从业者，A9的设计体现了多目标排序、实时计算和NLP等技术的深度融合，是电商搜索算法的经典案例。：新上架商品缺乏历史销售数据时，A9通过元数据（标题、类目、属性）和初期用户行为（如点击率）快速评估其潜力。使用BERT等模型分析搜索词与商品描述的语义相似性，解决同义词问题（如“手机壳” vs “手机保护套”）。：使用逻辑回归（LR）、梯度提升树（GBDT）或深度模型（如DeepFM）预测用户点击或购买概率。
2025-02-15 15:02:31
787
原创 元学习在系统冷启动策略中的应用
将每个新用户、新物品或新场景视为一个独立任务（Task），元学习模型通过大量类似任务（如已有用户/物品的行为数据）学习如何快速适应新任务。：元学习器（Meta-Learner）从多任务中提取通用模式（如用户偏好共性、物品属性关联性），作为冷启动任务的初始知识。：面对冷启动任务时，元学习模型仅需少量样本（Few-Shot）即可调整参数，降低对数据的依赖。：将每个用户视为一个任务，元学习模型学习初始化参数，使新用户只需少量交互数据即可调整模型。：从其他平台（如有丰富数据的电商平台）学习元知识，迁移到新平台。
2025-02-15 13:48:00
832
原创 Deepseek本地部署和网页版本区别
本地部署是指将DeepSeek的模型和服务部署在用户自己的服务器或本地机器上，而网页版则是通过浏览器访问的在线服务。我们接下来将从数据隐私、成本、定制等多方面评估一下本地部署与网页版的区别。现在网上很多文章都是建议大家去做本地部署，我觉得无论是个人还是企业，都要根据自身的需求综合评估后再做决定。return deepseek_web_api.call(request) # 走网页版API。：模型量化技术（如GGUF格式）使7B参数模型可在消费级GPU运行。：出现行业专属API端点（医疗版/法律版等）
2025-02-14 14:01:17
3866
原创 新用户冷启动阶段使用的推荐算法策略
首先，我得先理解什么是冷启动问题。冷启动通常指系统在缺乏足够用户行为数据时，如何有效地推荐内容。新用户没有历史交互，所以传统协同过滤方法可能不适用。因此，我需要考虑其他策略。常见的冷启动策略有哪些呢？大概有几种：基于热门推荐、基于元数据或内容的推荐、利用注册信息、基于规则的推荐、跨域推荐、探索与利用策略（比如多臂老虎机），还有混合方法。
2025-02-14 12:47:55
1300
原创 YouTube的RL策略
YouTube 在推荐系统等多个领域使用强化学习来优化用户体验和业务指标。其核心的强化学习策略目标通常是最大化用户的长期参与度，例如观看时长、视频交互等。以下是 YouTube 强化学习应用的一些关键要点：1. 状态（State）状态通常包含了与用户、视频和上下文相关的各种特征。2. 动作（Action）动作通常是指推荐给用户的视频集合。在每一个时间步，算法需要从候选视频池中选择一个或多个视频推荐给用户。3. 奖励（Reward）奖励用于衡量推荐动作的好坏。4. 策略优化。
2025-02-10 12:41:54
792
原创 浅谈亚马逊的DRL 模型
在亚马逊的业务场景中，深度强化学习（DRL，Deep Reinforcement Learning）模型被广泛应用于多个领域，下面为你详细介绍相关应用及可能涉及的模型.
2025-02-10 11:35:46
965
原创 浅谈马尔可夫决策（MDP）过程
状态（S）：3个状态（s0, s1, s2）动作（A）：2个动作（a0, a1）转移概率（P）：手动定义奖励（R）：状态s2为终止状态，奖励+10，其他转移奖励-1折扣因子（γ）：0.9# MDP参数定义states = [0, 1, 2] # 状态：s0, s1, s2actions = [0, 1] # 动作：a0, a1gamma = 0.9 # 折扣因子# 转移概率 P(s'|s,a) 和奖励 R(s,a,s')P = {R = {
2025-02-09 10:54:17
824
原创 浅谈DRN技术在推荐系统的作用及应用场景
深度强化学习（Deep Reinforcement Learning,DRL）与推荐系统的结合催生了深度强化推荐系统（Deep Reinforcement Learning-based Recommendation Systems），其中深度强化网络（Deep Reinforcement Network,DRN）作为核心技术框架，通过动态建模用户与系统的交互过程，显著提升了推荐的长期收益和个性化能力。下面我将从技术原理、核心作用和应用场景三方面进行深度解析。
2025-02-09 10:08:54
729
原创 浅谈模型鲁棒性
是指机器学习模型在面对输入数据扰动、噪声、分布偏移或对抗攻击时，仍能保持稳定性能和准确性的能力。鲁棒性强的模型对数据中的异常值、噪声、环境变化等干扰具有较强的容错能力，不会因输入的小幅变化导致输出结果的剧烈波动。
2025-02-08 11:04:41
1596
原创 浅谈混合精度训练
如BERT、GPT-3、Transformer等参数量巨大的模型，混合精度可降低显存占用，使单卡训练更大模型成为可能。自动将部分运算转换为FP16（如矩阵乘），其他运算保持FP32（如softmax），平衡速度与稳定性。如CLIP、ALBEF等融合视觉与文本的模型，混合精度减少多模态数据并行处理的显存消耗。解决FP16梯度值过小（下溢）的问题，通过放大梯度确保更新有效性，缩放因子自动调整。加速生成器和判别器的对抗训练过程，同时避免因FP16精度不足导致的训练不稳定。# 6. 更新权重（自动转为FP32）
2025-02-07 11:23:20
434
原创 浅谈自监督预训练
自监督预训练（Self-Supervised Pre-training）是无需人工标注数据、通过设计自动生成监督信号来训练模型的技术。它通过挖掘数据内在的结构化信息（如上下文关系、时间序列依赖、空间连续性等）构建预训练任务，使模型学习通用表征，最终迁移到下游任务中。以下是其核心原理、技术分类、实现方法及实际应用详解。
2025-02-05 11:35:43
1399
原创 TensorRT 原理及核心代码示例
TensorRT 是 NVIDIA 推出的高性能，通过等技术，显著提升模型在 GPU 上的推理速度。以下是其核心原理及代码实现。
2025-02-04 11:21:48
1504
原创 多模态融合技术及应用
多模态融合（Multimodal Fusion）是指将来自不同模态（如文本、图像、音频、视频、传感器数据等）的信息进行整合和协同处理的技术。其核心目标是，广泛应用于自动驾驶、医疗诊断、人机交互等领域。
2025-02-04 10:12:29
4034
原创 ZeRO（Zero Redundancy Optimizer） 技术
训练超大模型（如GPT-3）时，！：每个GPU都保存完整的模型、优化器状态、梯度，浪费显存。：梯度同步需要大量数据传输。：消除内存冗余，同时保持计算效率。将模型训练所需的（参数、梯度、优化器状态）到不同GPU上，每个GPU只保留一部分，需要时再通过通信获取。：如Adam中的动量（momentum）、方差（variance）。：反向传播后的梯度。：模型的权重。
2025-02-03 14:04:26
773
原创 浅谈量化感知训练（QAT）
在训练阶段，就提前让模型“体验”被压缩后的效果（模拟低精度计算），这样模型自己会调整参数，尽量适应压缩后的环境。假设你训练了一个神经网络模型（比如人脸识别），效果很好，但模型太大（比如500MB），手机根本跑不动。反向传播时，用**直通估计器（STE）**绕过量化操作的梯度问题（简单理解：假装量化没误差，直接传梯度）。：直接压缩（训练后量化，PTQ）会导致精度暴跌，就像把高清图片压缩成马赛克，关键细节全丢了！：把模型参数（权重）从32位浮点数（FP32，高精度）转成8位整数（INT8，低精度）。
2025-02-03 12:50:29
2367
原创 浅谈知识蒸馏技术
最近爆火的DeepSeek 技术，将知识蒸馏技术运用推到我们面前。今天就简单介绍一下知识蒸馏技术并附上python示例代码。知识蒸馏（Knowledge Distillation）是一种模型压缩技术，它的核心思想是将一个大型的、复杂的教师模型（teacher model）的知识迁移到一个小型的、简单的学生模型（student model）中，从而在保持模型性能的前提下，减少模型的参数数量和计算复杂度。以下是对知识蒸馏使用的算法及技术的深度分析，并附上 Python 示例代码。
2025-02-02 11:42:09
1383
原创 DeepSeek 使用的核心技术预测
最近DeepSeek 这个词算是火遍了整个AI圈，这个影响力迅速超过ChatGPT 的产品，都会使用哪些技术来做支撑呢。我这里简单做了一下梳理，结果不一定会完全准确，但是对这类产品的技术架构有个大概的认识。以下是我对可能涉及的技术架构的梳理，希望大家踊跃参与评论。
2025-02-02 11:08:49
1602
原创 如果你想成为一名自动驾驶领域的算法工程师
每学完一个算法（如Kalman滤波），立刻用代码实现（如用Python滤波跟踪车辆轨迹）。Kaggle竞赛（如目标检测、图像分类）、复现经典论文（如ResNet、YOLO）。：学习技术文档写作、团队协作（Git）、英文文献阅读（应对顶会论文）。《机器学习》（周志华）、《深度学习》（Ian Goodfellow）：《微积分》（James Stewart）、《凸优化》（Boyd）：目标检测（Faster R-CNN）、语义分割（U-Net）。：PyTorch（灵活研究）、TensorFlow（工业部署）。
2025-02-01 08:55:27
1161
原创 深度学习模型在汽车自动驾驶领域的应用
自动驾驶的深度学习模型需兼顾感知、融合、决策全链路，同时依赖高效的硬件计算和持续的数据迭代。车载计算单元（ECU）本地处理数据，减少对云端的依赖（如紧急避障需毫秒级响应）。：通过神经网络将不同传感器的数据映射到统一坐标系（如BEV），再融合特征。：交叉熵（分类）、Smooth L1（回归）、Dice Loss（分割）。：图像分类、物体检测（车辆、行人、交通标志）、语义分割（道路、车道线）。：融合摄像头、激光雷达（LiDAR）、雷达数据，生成统一的环境感知结果。
2025-02-01 08:19:16
2129
原创 浅谈RTB场景中的动态出价算法
动态出价算法是RTB广告系统的核心，其设计需综合考虑预测模型准确性、实时响应能力、预算约束及多目标权衡。从简单的规则策略到复杂的强化学习，算法选择取决于业务规模、数据丰富度和计算资源。未来趋势将更注重长期价值优化（如用户生命周期价值）、跨渠道协同及隐私保护技术（如联邦学习）。
2025-01-31 09:57:09
1542
原创 浅谈AI的发展对IT行业的影响
技术层：掌握AI工具链（LangChain、MLflow），理解模型局限性（如幻觉问题）。思维层：从“解决问题”转向“定义问题”，利用AI放大创造力。伦理层：建立AI系统的可解释性评估机制，规避算法偏见。AI不是替代IT行业，而是将其推向更高维度的竞争——从“代码实现”升级为“智能设计”。正如Linux之父Linus Torvalds所言：“AI不会取代程序员，但会用AI的程序员会取代不用AI的人。
2025-01-26 10:24:39
1511
原创 浅谈基本图算法
今天我们来简单介绍一下图的表示和图的搜索。图的搜索指的是系统化地跟随图中的边来访问图中的每个结点。图搜索算法可以用来发现图的结构。许多的图算法在一开始都会先通过搜索来获得图的结构，其他的一些图算法则是对基本的搜索加以优化。可以说，图的搜索技巧是整个图算法领域的核心。常见的图表示法分别是邻接链表和邻接矩阵。常见算法包括遍历、最短路径、最小生成树等。下面我来介绍几个常见的图算法并附上python 代码示例。
2025-01-26 10:13:09
770
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人