- 博客(446)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 On-Policy Distillation（OPD）学习文档
OPD（On-Policy Distillation）是一种基于当前学生模型生成轨迹的蒸馏方法，通过教师模型对学生产生的每一步输出进行逐 token 的概率评分，构建密集训练信号。其核心是使用 reverse KL 散度，以教师对每个 token 的 logprob 与学生旧策略的 logprob 差值作为优势函数，指导学生更新。关键要求包括：教师必须评价学生真实生成的 completion、tokenizer 与 chat template 必须完全对齐、梯度仅回传至学生参数。相比离线蒸馏，OPD 实现
2026-10-17 11:14:25
63
原创 大模型强化学习（PPO/GRPO）入门与深度答疑：从公式到本质
本文以问答形式深度解析PPO与GRPO的核心机制，聚焦策略比率、优势计算与训练流水线。揭示为何强化学习不直接“背答案”——通过策略比率控制更新幅度，利用奖励模型或规则验证器提供序列级评分，结合组内归一化（GRPO）替代传统Critic，实现高效稳定训练。强调logits与log_probs的生成逻辑及逐token共享优势的设计，为初学者提供可复现的实战指南。
2026-10-16 20:27:37
263
原创 KV Cache、前缀缓存与多模态大模型架构详解
本文系统梳理大模型推理加速的核心机制，涵盖自回归生成中的KV Cache原理、位置编码对缓存复用的影响、前缀缓存的哈希匹配与命中优化，以及多模态模型Qwen-VL的缓存策略。重点解析了KV Cache如何将计算复杂度从O(n²)降至O(n)，前缀缓存通过链式哈希实现跨请求复用，提升推理效率；同时说明因果掩码与位置编码协同保障生成顺序正确性。结合vLLM与Codex实践，揭示高命中率背后的工程设计逻辑，为高效推理提供完整技术框架。
2026-09-20 19:04:21
343
原创 Codex 记忆与检索机制完整解析
Codex 通过分层记忆架构（静态指令 AGENTS.md 与生成式记忆 Memories）平衡确定性与灵活性，结合实验性硬切窗口、工作注释与历史查询机制，避免上下文压缩导致的“失忆”。采用混合检索（关键词+语义）与 RRF 融合算法提升召回率，跨会话依赖异步记忆传递，支持通过 MCP 工具实现可扩展的长期记忆管理。
2026-09-20 16:07:28
172
原创 智能体构建：从 Function Calling 到 MCP 与记忆系统
本文深度解析 Agent 架构核心：通过 Function Calling 实现模型决策，MCP 协议统一工具调用接口，Skill 作为可复用的操作手册，结合记忆机制构建闭环智能体。基于 Codex 等生产实践，提供 Python 代码骨架，揭示四者协同逻辑——函数调用是“点单”，MCP 是“标准接口”，Skill 是“操作指南”，Agent Loop 与记忆系统则是驱动引擎，共同实现大模型从“会说话”到“能干活”的跃迁。
2026-09-20 15:51:31
277
原创 破除显存焦虑：单卡 24G 全参微调大模型背后的两大底层黑科技
在拥抱大模型（LLM）的浪潮中，算力往往是限制普通开发者和研究团队的最大瓶颈。想象一下，你手握一份极具价值的垂直领域结构化数据集（例如 15,000 条高质量的三维空间推理 CoT 数据），想要对一个 1.7B 甚至更大的模型进行全参微调（Full SFT）。然而，当你满怀期待地点击 运行，终端却无情地弹出了那句令人心碎的报错：只有一张 24G 显存（如 RTX 3090/4090）的显卡，真的不配做全参微调吗？答案是：绝对可以。
2026-04-16 22:04:06
526
原创 RoPE 的数学直觉：为什么旋转后 Attention 会自然得到相对位置？
如果只用一个二维平面，那位置表达能力太弱了。把 head 的维度拆成很多组 2D每一组使用不同频率这样不同组会有不同的“转速”。有的钟表走得快有的钟表走得慢这有什么好处？
2026-04-13 16:03:16
461
原创 从零理解 RoPE：为什么文本位置是一维，模型却要“两维一组”来编码？
64 维128 维256 维RoPE 不会拿整个 128 维一起做一个大旋转，而是拆成很多小组：(第1维, 第2维)(第3维, 第4维)(第5维, 第6维)每两维一组，每组单独旋转。所以一个 128 维向量，会变成：64 组二维小平面每一组都根据位置转动。文本只有先后关系，为什么还要用二维来编码？答案是：因为文本位置虽然是一维，但 RoPE 不是在“存位置编号”，而是在“把位置变成一种作用到向量上的旋转变换”。而旋转这个动作，最少需要二维。位置关系：一维。
2026-04-13 15:48:56
461
原创 光场中的核心概念：Macro Pixel与SAI的深度解析与实例应用
例如，在Lytro光场相机中，一个宏像素可能包含5×5个子像素，每个子像素对应不同角度的光线。设光场数据为 ( L(u,v,s,t) )，其中 ((u,v)) 为角度坐标，((s,t)) 为空间坐标。生成SAI时，固定角度维度((u,v))，遍历空间维度((s,t))，提取对应子像素值，最终形成2D图像矩阵。例如，提取所有宏像素中同一位置的子像素（如左上角子像素），并按空间位置拼接，即可得到一个SAI。此案例展示了SAI的核心价值：通过角度信息的互补性，突破硬件限制，提升图像质量。
2025-03-16 21:10:22
1751
原创 理解光场模型：uv与st的结合
光场模型描述了一种四维空间，其中每个点都包含了光波的方向和强度信息。这种表示允许我们生成不同视角的图像，从而提供沉浸式的视觉体验。通过对光场的有效采样，我们能够在虚拟环境和真实场景中再现物体的外观和行为。
2025-03-16 20:30:33
878
原创 均匀采样与低差异序列：从 Halton 到 Hammersley 到球面采样
Halton 序列是一种低差异序列，通常用于生成多维空间中均匀分布的采样点。与伪随机采样不同，Halton 序列在采样过程中能够避免点的堆积现象，使得生成的点更加均匀。生成 Halton 序列的核心是基数逆序小数给定一个整数 ( n ) 和一个基数 ( b )，将 ( n ) 表示为 ( b ) 进制（如二进制、三进制等）。将该 ( b ) 进制的数字逆序，并将其每一位权重按照小数点后的位置进行累加，得到一个小数值。( n = 3 )，对应二进制11。
2024-12-28 15:43:16
1681
原创 WebGPU、WebGL 和 OpenGL/Vulkan对比分析
特性WebGPUWebGLOpenGLVulkan设计目标现代浏览器高性能图形API浏览器端图形渲染跨平台图形API低级高性能图形API主要用途图形渲染、计算任务图形渲染图形渲染、图形处理图形渲染、计算任务平台支持主流浏览器（Chrome、Firefox等）主流浏览器（Chrome、Firefox等）Windows、Linux、macOS等Windows、Linux、macOS、Android等API类型低级API，接近硬件控制中级API，较简单中级API，较灵活。
2024-12-18 21:22:59
2140
原创 如何在 Linux 中使用 `useradd` 命令创建新用户
useradd是 Linux 系统中用于创建新用户的命令。它允许管理员为新用户指定一些基本信息，如主目录、登录 shell、所属组等。useradd通常需要管理员权限，所以在执行命令时需要使用sudo。通过useradd命令，Linux 系统管理员可以轻松创建并配置新用户。无论是设置主目录、登录 shell，还是分配组和注释信息，useradd都提供了灵活的选项来满足各种需求。掌握这些基本操作后，你可以更加高效地管理系统中的用户，确保系统的安全性和可靠性。希望本文能帮助你更好地理解和使用useradd。
2024-12-16 15:26:59
1590
原创 焦距与视差的关系及其对深度估计的影响
焦距在立体视觉中的作用至关重要，它直接影响视差的大小，从而影响深度估计的精度。焦距越长，视差差异越大，物体的深度估计就越精确。这一关系使得焦距长的相机在一些需要高精度深度估计的应用场景中更加优越。了解焦距与视差的关系，对于优化相机配置和提升深度估计精度具有重要意义。在实践中，选择合适的焦距对于获得精确的深度信息至关重要，特别是在自动驾驶、虚拟现实、三维重建等领域，精确的深度估计能够提供更好的用户体验和技术支持。
2024-12-13 22:04:38
1642
原创 深度与视差的关系及其转换
视差（Disparity）是指在立体视觉中，同一个物体在左右两个相机图像中位置的差异。由于两台相机拍摄同一个物体时，摄像头的位置稍有不同（即相机之间有一定的基线），因此同一个物体在两个图像中的位置会发生偏移。这种偏移量，称为视差。视差值通常是通过左右图像对中的匹配算法计算得到的，匹配过程中会确定左右图像中对应点的位置差异。视差值越大，物体离相机越近；视差值越小，物体离相机越远。深度（Depth）是指物体与相机之间的实际距离。在立体视觉中，深度可以通过测量视差来估算。
2024-12-13 21:37:00
2883
原创 基于双目视差的3D立体视觉原理及其应用
双目视差是指由于我们人眼间的距离（大约6.5厘米）不同，左右眼所观察到的同一物体的图像会略有差异。这种差异就是视差，它是人眼获取深度信息的关键。简单来说，双目视差的产生就是左右眼从不同角度观察场景，获得的视网膜图像有所不同。双目视差对于人类的深度感知至关重要。我们的眼睛和大脑通过对这两个视角图像的融合，能够判断出物体的空间深度，即哪些物体离我们近，哪些物体远。这种视觉处理机制使得我们能够在三维空间中准确地感知物体的位置、距离和方向，从而形成立体视觉。
2024-12-12 11:37:47
2821
原创 WebGL 中的三大矩阵：模型矩阵、视图矩阵和投影矩阵解析
矩阵变换是一种数学手段，用于将一个物体的坐标从一种坐标系转换到另一种坐标系。在三维图形学中，常见的坐标系包括：局部坐标系、世界坐标系、摄像机坐标系和屏幕坐标系。通过矩阵变换，我们可以将三维物体从局部坐标系中逐步转换到屏幕上的二维坐标。
2024-12-12 11:24:56
2633
原创 从深度图到 3D 网格与点云：完整实现
点云是由多个点（每个点通常包含 x、y 和 z 坐标）构成的数据集，表示物体表面或场景的三维结构。在计算机视觉中，点云是由深度图或 LiDAR 等传感器生成的。点云提供了物体的几何形状，但通常没有连接点的三角面片信息，因此不像网格那样具有表面。
2024-12-10 22:03:28
6964
原创 判断并清理文件夹：Python 自动化管理目录
通过这个简单的 Python 脚本，我们可以高效地判断并清理文件夹结构。文件夹，里面包含很多子文件夹，而这些子文件夹中有些可能只包含一个子文件夹。这种情况下，我们可能希望自动化地检查每个子文件夹，如果它仅包含一个子文件夹，则直接删除该子文件夹。在日常工作中，我们经常需要对文件系统中的文件和文件夹进行整理。本文将介绍如何用 Python 编写一个小脚本，完成这一任务，简化手动清理的过程。列出其内容，并判断哪些是子文件夹。如果子文件夹数量为 1，则符合我们的条件。文件夹下的所有文件和文件夹，然后用。
2024-12-10 21:54:39
590
原创 合并视频文件：使用Python和MoviePy库的简单指南
今天，我将向你展示如何使用Python编程语言和MoviePy库来合并两个视频文件。通过这个简单的教程，你可以看到使用MoviePy合并视频是多么的直接和高效。无论你是视频编辑新手还是希望提高工作效率的专业人士，MoviePy都是一个值得尝试的工具。它不仅可以帮助你节省时间，还可以让你的视频项目更加专业。MoviePy是一个强大的视频编辑库，它允许你轻松地进行视频剪辑、合并、添加特效和文本等。MoviePy的优势在于它的易用性和灵活性，使得视频编辑变得简单直观。：定义两个视频文件的路径以及输出视频的路径。
2024-11-29 16:00:26
804
原创 Could not load the Qt platform plugin “xcb“ in ... even though it was found.
【代码】Could not load the Qt platform plugin “xcb“ in ... even though it was found.
2024-04-19 20:16:24
1897
4原创 leetcode 19. 删除链表的倒数第 N 个结点（c++）
leetcode 19. 删除链表的倒数第 N 个结点常规解法：双指针与栈，两种解法。
2023-05-06 21:00:43
312
原创 机器学习之SVM
墙高基下，虽得必失。 ——范晔SVM即支持向量机是二分类的算法，但应用范围不局限于二分类问题。对于输入数据集{(xn,yn)}n=1N\{({x^{n},y^{n}})\}_{n=1}^N{(xn,yn)}n=1N,yn∈{−1,1}y^n \in \{-1,1\}yn∈{−1,1},需要找到决策平面或者超平面进行两类样本分离，该超平面满足wTx+b=0w^Tx+b=0wTx+b=0，两类样本分别满足yn(wTx+b)>0y^n(w^Tx+b)>0yn
2023-01-31 17:07:26
530
原创 机器学习之线性模型
线性模型非常常见，但详细了解其中原理是必要的。一般将样本特征进行线性组合达到预测的目标，如表达式yfX;Wby=f(X;W)+byfX;Wb,其中XXX为输入的样本数据，WWW为权重系数，bbb为偏置系数。如对于图片样本，一种处理方式为将图片像素矩阵转化为维度向量，如Xx1x2xnWw1w2wmbb1b2bnXx1x2...xnWw1w2...wmbb1b2。
2023-01-31 11:09:02
734
原创 机器学习之参数学习
参数估计的方法包括经验风险最小化、结构风险最小化、最大似然估计、最大后验估计。参数估计用于学习模型参数，以达到最优的目的，如线性回归的模型参数。
2023-01-30 16:13:05
1273
原创 目标检测之YOLOv5算法分析
YOLOv5共有5个版本的网络模型及其权重文件，即。（下图来自github上yolov5官方开源项目的性能截图）其中n,s,m,l,x网络模型结构如出一辙，差异在参数上。另外的n6,s6,m6,l6,x6模型是对于更大分辨率图片检测。
2022-12-27 10:53:34
3789
原创 目标检测之YOLOv2算法分析
第三行为负责检测物体的anchor进行该计算：其中的三个表达式分别为真实框与预测框的定位误差，真实框与anchor的IOU值和预测框置信度的误差，真实框的类别与预测框的类别误差。第二行为判断是否是前12800次迭代，是则优化anchor与预测框的位置信息，使每一个anchor确定不同的自身作用，模型稳定。，将高分辨率的特征图与低分辨率的特征图融合在一起，实现多尺度的检测效果，启发于SSD检测。个响应值求均值，标准差，然后标准化，对标准化的结果乘。图中通道数变为4倍，大小为原来的1/4，
2022-12-24 22:35:24
822
原创 目标检测之YOLOv1算法分析
30维张量包括20个对象的概率，2个bounding box的置信度及其位置（一个bounding box位置信息需要四个值，两个bounding box总需要8个值）那么两个框IOU交并比，谁大就由谁负责预测一个对象，并且。2个bounding box的置信度，其中置信度=p(exist_objects) * 该预测的bounding box与该对象的真实边框的IOU值。两个bounding box的置信度分别于20个类别的概率相乘，可得到分在在两个bounding box中的每一类的概率。
2022-12-24 16:32:46
884
缓冲区溢出攻击详细讲解.docx
2020-04-12
北邮计算机体系结构实验报告2021版本
2022-06-01
数据通路报告.docx
2020-07-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人