- 博客(30)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 vLLM推理加速深度解读：PagedAttention如何提升10x吞吐量
在大语言模型（Large Language Models, LLMs）快速发展的今天，推理效率已成为制约模型落地的关键瓶颈。GPT-4、LLaMA、Claude等模型虽然能力强大，但推理成本高昂、延迟较长，严重限制了商业化应用。统计显示，部署一个ChatGPT级别的服务，推理成本占据总运营成本的70%以上。
2026-05-27 17:28:05
472
原创 Transformer深度解读：注意力机制如何革新深度学习架构
本文深入解析了Transformer架构的核心原理与技术演进。Transformer通过自注意力机制和多头注意力彻底革新了序列建模，解决了传统RNN的并行化难题。文章详细阐述了其数学表达、位置编码、前馈网络等关键组件，并对比了不同变体的设计差异。从2017年诞生到BERT、GPT系列的演进，Transformer已成为AI领域的基础架构，推动了大语言模型和多模态系统的发展。文章不仅涵盖理论基础，还提供了现代改进方案，是理解当前AI前沿技术的必备指南。
2026-05-25 11:56:16
736
原创 BLIP：自举式语言-图像预训练的统一多模态理解与生成框架
本文介绍了多模态视觉-语言预训练模型BLIP系列的核心原理与技术演进。BLIP通过多模态混合编解码器（MED）架构，统一了图文对比学习、图文匹配和语言生成三种预训练目标，显著提升了参数效率和模型性能。其创新的CapFilt数据清洗机制通过自举循环提升训练数据质量。BLIP-2进一步提出Q-Former架构，以轻量级模块桥接冻结的视觉编码器与大语言模型，奠定了多模态大模型的基础范式。文章系统梳理了BLIP系列从模型架构、训练策略到技术演进的全貌，揭示了多模态学习从早期区域特征对齐到当前LLM驱动范式的发展路径
2026-06-11 19:38:28
195
原创 GLM架构深度解读：清华大模型的核心技术
本文系统介绍了GLM（General Language Model）架构的核心原理、技术演进与实现细节。GLM创新性地提出自回归填空预训练方法，通过统一的自回归填空框架融合了自编码与自回归两种范式，支持双向注意力与自回归生成的混合计算。其关键技术包括二维位置编码、特殊注意力掩码设计以及文档级与句子级多任务目标。自2021年提出以来，GLM架构经历了从110M参数的初代模型到千亿级GLM-130B的演进，并支撑了ChatGLM系列对话模型和最新的GLM-4多模态模型发展。文章详细解析了GLM的预训练数据处理流
2026-06-10 19:03:19
371
原创 CLIP：多模态视觉-语言预训练模型的革命性突破
摘要： CLIP（Contrastive Language-Image Pre-training）是OpenAI提出的突破性多模态模型，通过对比学习将图像和文本映射到统一语义空间，实现视觉与语言的深度融合。其核心采用双塔架构（图像编码器可选ResNet/ViT，文本编码器为Transformer），利用对称损失函数优化4亿互联网图像-文本对的匹配关系。CLIP的创新在于零样本迁移能力，无需微调即可通过自然语言描述完成分类等任务，显著拓展了AI应用的灵活性。后续研究（如ALIGN、BLIP）进一步验证了数据规
2026-06-10 11:06:34
226
原创 MCP（Model Context Protocol）技术深度解读
在大型语言模型（LLM）快速发展的今天，如何让AI助手安全、高效地与外部系统交互成为关键挑战。传统的API集成方式存在标准化程度低、安全性难以保障、开发成本高等问题。为了解决这些痛点，Anthropic公司于2024年推出了Model Context Protocol（MCP），这是一个开放标准协议，旨在统一LLM与外部数据源、工具的交互方式。MCP通过客户端-服务器架构，实现了上下文管理、工具调用、提示词模板等核心能力的标准化，为AI应用开发带来了革命性变化。本文将从技术原理、演进历程、实现细节等多个维度
2026-06-08 19:04:02
381
原创 TensorRT推理加速：深度学习模型部署的性能优化利器
TensorRT深度学习推理优化技术解析 摘要：本文深入剖析了NVIDIA TensorRT的核心原理与技术实现，该工具通过计算图优化、精度量化和内核调优等关键技术大幅提升深度学习推理性能。文章详细介绍了TensorRT的层融合、常量折叠等图优化技术，INT8量化的KL散度校准方法，以及针对不同硬件的自动内核调优机制。同时分析了TensorRT从1.0到8.0的技术演进路线，展示了其如何适应从CNN到Transformer的架构变迁。通过实际代码示例，说明了模型转换流程和INT8校准实现方法，为工业级AI应
2026-06-05 17:21:07
276
原创 GRPO：Group Relative Policy Optimization 深度解读
本文介绍了DeepSeek团队提出的GRPO（Group Relative Policy Optimization）算法，这是一种用于大语言模型（LLM）对齐训练的创新强化学习方法。GRPO通过引入组内相对优势估计机制，克服了传统PPO算法依赖价值网络、训练不稳定等缺陷。其核心思想是在同一prompt生成的多个回复之间进行相对奖励比较，直接使用组内相对优势替代传统优势函数估计。这种设计不仅简化了训练流程（无需价值网络），还能显著降低梯度方差，提升训练效率和稳定性。文章详细分析了GRPO的理论基础、技术演进路
2026-06-04 14:41:35
216
原创 BERT：双向编码器的革命性突破
本文深入解析了BERT模型的核心原理、技术演进和实现细节。BERT通过双向Transformer编码器和Masked Language Model（MLM）、Next Sentence Prediction（NSP）两个预训练任务，实现了上下文相关的语言表示学习，在NLP领域取得突破性进展。文章详细介绍了BERT的架构设计、训练策略，对比了其与早期词嵌入方法和后续改进模型的差异，并提供了PyTorch实现示例。BERT的"预训练-微调"范式大幅提升了NLP任务性能，为后续大模型发展奠定了基础。
2026-06-02 14:19:27
310
原创 SGLang：结构化生成语言推理框架深度解读
SGLang是由斯坦福大学和加州大学伯克利分校联合提出的高性能大语言模型推理框架，针对复杂多轮对话、结构化输出等场景优化。其核心创新包括： RadixAttention机制：通过基数树数据结构实现跨请求的KV Cache自动复用，避免重复计算共享前缀 跳跃前瞻解码：对格式化输出中的固定模板部分直接填充，仅采样变量槽位，提升3-5倍生成速度 约束解码引擎：通过正则表达式和JSON Schema保证输出严格符合预定义格式 声明式DSL：提供类Python的编程接口简化复杂推理流程开发 相比传统框架，SGLang
2026-06-01 14:22:58
272
原创 DPO直接偏好优化深度解读：无需奖励模型的RLHF革新
摘要 DPO（Direct Preference Optimization）是一种革新性的大语言模型对齐技术，通过数学推导将传统的RLHF两阶段流程（奖励建模+强化学习）压缩为单阶段监督学习。其核心创新在于利用Bradley-Terry模型将偏好概率直接映射到策略优化目标，隐式实现奖励信号，无需显式训练奖励模型。相比RLHF，DPO在保持性能优势的同时大幅降低了计算成本和工程复杂度，成为当前开源社区的主流对齐方法。后续研究还衍生出IPO、KTO、ORPO等多种改进版本，推动了模型对齐技术的快速发展。
2026-05-29 14:43:52
257
原创 RAG检索增强生成深度解读：知识检索如何赋能大语言模型
本文深入解析了检索增强生成（RAG）技术的核心原理、技术演进与实现细节。RAG通过将外部知识库与大语言模型结合，有效解决了知识时效性、幻觉问题和领域局限三大挑战。文章系统介绍了RAG的核心架构、稠密检索技术、重排序机制和上下文压缩方法，梳理了从稀疏到稠密检索的范式转变，以及混合检索、多阶段优化等技术演进路径。在实现层面，详细探讨了向量数据库选型、索引优化等工程实践要点。RAG已成为提升大语言模型准确性和可靠性的关键技术，在智能客服、法律咨询等领域展现出重要价值，最新研究正向着长文本处理和层次检索方向深入发展
2026-05-28 17:06:29
286
原创 RLHF深度解读：从博弈论到超级对齐的技术演进
摘要 本文深入探讨了强化学习人类反馈（RLHF）的理论基础与技术前沿。从Bradley-Terry模型到纳什均衡，揭示了RLHF的博弈论本质，分析了传统方法的理论缺陷并提出改进方案：Plackett-Luce模型处理循环偏好、贝叶斯奖励建模应对不确定性、信息瓶颈理论解释KL约束等。重点介绍了2024-2025年前沿进展，包括直接偏好优化（DPO）绕过奖励建模、宪法AI实现自我批评与递归对齐等突破性技术。文章系统性地阐述了RLHF从"模仿+强化"到融合偏好学习、分布式优化、对抗训练的演进过程，为大规模语言模型
2026-05-26 16:12:54
417
原创 RLHF深度解读：从人类反馈到ChatGPT的关键技术
强化学习人类反馈（RLHF）已成为大语言模型与人类意图对齐的关键技术，通过三阶段流程（监督微调、奖励模型训练、PPO强化学习优化）显著提升模型输出的有用性和无害性。从InstructGPT到ChatGPT，RLHF技术不断演进，结合宪法AI、过程监督等创新方法，在对话系统、代码生成等领域取得突破。最新研究如直接偏好优化（DPO）进一步降低了训练成本。尽管RLHF已取得显著成果，未来仍需探索可扩展监督和多智能体协同等方向，以实现更可信赖的通用人工智能。
2026-05-26 15:27:41
496
原创 参数高效微调技术：大模型时代的轻量化适配范式
《参数高效微调技术：大模型时代的轻量化适配范式》 摘要：随着大模型参数量突破千亿级，传统微调方法面临显存占用高、存储成本大等挑战。参数高效微调(PEFT)技术通过仅更新0.01%-1%的参数实现高效适配，成为重要研究方向。本文系统梳理了LoRA低秩分解、Adapter结构和Prompt-Tuning等核心技术，分析其在医疗影像、工业检测等场景的应用效果。研究表明，PEFT技术显著降低了大模型应用门槛，为AI普惠化发展开辟新路径。文章还探讨了模型轻量化、多模态融合等未来趋势。 关键词：参数高效微调；低秩自适应
2026-05-21 10:46:08
344
原创 【C#】基于线程安全的List随机乱序扩展方法
首先抛出个问题，怎么获得一个既安全有效，又方便调用的乱序List呢？其实代码很简单，但又非常有意思，如下所示：using System;using System.Text;using System.Threading;using System.Collections.Generic;public static class ThreadSafeRandom{ [T...
2018-12-18 01:14:01
1560
原创 【经验】使用cmd手动把class文件打成jar包
最近在做与SDK对接的工作，其中会涉及到的一个必要的步骤就是打包jar包放入Unity项目中。可以通过Eclipse等工具打包，也可以使用cmd手动打包，过程非常的简单。1. 指向相应存放.class目录我的目录是：C:\My_Plugin\bin\classes\com\test\www，所以在cmd中输入命令：cd C:\My_Plugin\bin\classes\c
2015-09-14 11:34:54
3228
原创 【C#】读取和写入本地txt文件
本次我们要使用C#的方式进行txt文件的读取和写入，在Unity的开发过程中同样适用，下面来具体实现吧。创建文件的打开、关闭、读取、写入类：MyFileStream要引入System.IO和System.Runtime.Serialization.Formatters.Binary和，一个是文件读取的IO类和另一个是二进制类，具体代码如下：using UnityEngine
2015-08-31 00:02:18
9401
2
原创 【Shader】通过Shader实现森林树木随风摆动效果
大家首先可以想象一下这样的场景：场景中有一大片森林，我想让这片森林的树木有微风轻轻吹拂而缓缓摆动的效果，应该要怎么实现呢？ A：给每棵树加个动画，让动画来控制摆动 方案A如果在树木少的情况下还是属于可接受范围的，而且用美术童鞋做的动画来控制树木摆动会显得更真实更生动。不过注意，当是“森林”的时候，这一动起来，CPU估计就吃不消了，若是美术童鞋为了让树木更生动，加的是
2015-08-03 20:43:28
24271
6
原创 【经验】使用Profiler工具分析内存占用情况
Unity3D为我们提供了一个强大的性能分析工具Profiler。今天我们就使用Profiler来详细分析一下官方例子AngryBots的内存使用信息数据。 首先打开Profiler选择Memory选项，在游戏运行的某一帧查看Detailed选项数据（Simple模式的数据很直观，可以知道内存大体被哪部分占用了，网上也有很多相关介绍，我就不再啰嗦了），如下图所示：选
2015-07-23 17:15:07
26897
1
原创 【NGUI】实现淡入淡出提示框功能
这次我们要实现一个游戏UI开发中很常见的功能：淡入淡出提示框。功能很简单，接下来我就用以下两种方式来处理。NGUI的TweenAlpha方式首先挂载一个TweenAlpha组件，设置如下：具体代码如下：using UnityEngine;using System.Collections;public class MyAlphaTweener : MonoBeh
2015-06-23 12:38:04
4146
原创 【Code】时间戳转换天时分秒字符串
这个算是开发的非常常用的功能了，网上都很轻易的搜索到，我也就不再啰嗦原理如何，直接上代码，算是记录一下吧。using UnityEngine;using System;public class Timer{ private readonly DateTime unixEpoch = new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc)
2015-06-20 15:38:57
2429
原创 【插件】无效Material文件检测工具
之前分享了一篇《特效发射粒子数查找工具》，不知道大家还有没有印象。今天我再沿用此方式开发一个自定义的实用小工具，为我们之后的开发提供更多的帮助。随着游戏项目的开发，需求不断的变更，资源不断的改版，项目中难免会预留大量重复的或过时的资源文件，导致我们在查找定位某个资源文件时，依旧在大量的无用文件中筛选，减缓了工作效率。有些强迫症人士更是忍受不了大量的无用文件存在项目中，想一一清理出去。但是我们手
2015-06-17 11:17:42
1691
原创 【插件】特效发射粒子数查找工具
我们在游戏开发过程中，优化性能是极为重要的一个环节。总所周知“特效”是性能优化的一个重点。据说，特效文件中的发射粒子数在50以上就会存在性能问题。于是，针对此问题我们可以做一个工具，查找出项目中所有的特效发射粒子数，根据数量从大到小排序，并标志定位到相应的特效文件。思路步骤如下：1. 在Editor文件夹下新建一个脚本文件，命名为EffectEmitChecker.cs2
2015-06-13 13:09:47
1371
原创 【经验】Unity读取Excel数据并绑定到Prefab上
我们在使用Unity3D开发游戏的过程中，难免会读取各种配置数据并运用到游戏当中，可以实现的方法种类很多，我今天就分享一个新鲜的做法：直接读取Excel的数据，然后把数据绑定到Prefab上。大体的功能就是这样，下面我们具体来实现。1. 读取Excel数据Unity没有支持直接读取Excel的接口，我们就只能采用引入.NET的类库，用ODBC的接口去访问Excel的方式。首先
2015-06-06 15:44:01
3698
原创 【Shader】边缘发光效果的两种写法
我们可以看到很多游戏经常会有这种模型边缘发光的效果，看起来很高大上的样子。其实实现起来挺简单的，网上也有很多这样的例子分享，现在我也来分享一下两种Shader实现的代码吧。1.Surface ShaderShader "MMSG/Rim Light" { Properties { _MainTex("Base (RGB)", 2D) = "whit
2015-05-15 11:50:32
19380
原创 【经验】判断Material的Color是否为空
刚刚做个工具想批量获取Material，然后把它的颜色显示出来，可是遇到发现有些Material没有颜色可以供我设置。当我获取时会报错：Renderer renderer = GetComponent();Material mat = renderer.sharedMaterial;Debug.Log(mat.color); //报错那怎么跳过颜色的判断？非空判断？mat.colo
2015-05-14 10:25:40
1405
原创 【经验】脚本动态修改Lightmap烘焙贴图
也许有的童鞋会说，不就脚本动态换个Lightmap吗？简单的很，获取Lightmap的贴图数组，然后循环替换，分分钟搞定的事。代码duang的就出来了： for (int i = 0; i < LightmapSettings.lightmaps.Length; i++) { LightmapSettings.lightmaps[i].lightmapF
2015-05-14 10:17:18
2895
原创 【NGUI】扩展NGUI例子实现拖动交换位置功能
大家在学习NGUI的时候有接触过这个例子吧？ 图1 Example 11 - Drag & Drop这个例子已经很全面的实现了拖动物体和放下物体到某处（3D或2D），为了更深入的理解这个例子，我们现在来学习并扩展这个例子。需求：有六张卡牌，拖动任意一张卡牌到相应的另一张卡牌位置上，可以自动进行两张卡牌的位置调换。分析：通过这个例子，我们虽然可以拖出物体放置到另一个地方，但是
2015-05-13 21:22:04
3155
原创 【NGUI】UIPlayTween实现菜单栏伸缩功能
现在可以看到许多手游都有功能菜单栏伸缩的效果，可以节省屏幕的占用空间，起到美观的作用。实现这个功能很简单，方法也很多。下面我们就来看看其中的一种，使用NGUI的UIPlayTween的方式：1.准备工作：首先建一个Scene，就叫TweenTest吧，然后把摄像机删掉，加入NGUI的UI Root。2.加入一个UIButton，取名叫TweenBtn，给它挂载一个UIPlayTween脚本
2015-05-13 20:53:05
4464
jQuery1.4优秀的 Javascript 框架
2010-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人