- 博客(665)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 ChatGPT 优缺点对比
它可能会给出看似真实但实际上是错误或伪造的答案，因此在应用中需要谨慎使用，尤其是涉及到重要或敏感的信息。：ChatGPT是通过对大量的互联网文本进行训练而得到的，它从多个领域的数据中学习知识和语言模式。：OpenAI不断致力于改进ChatGPT的性能和功能，以提供更准确、有用和安全的回答。：ChatGPT具有灵活的架构，可以根据用户的输入进行迭代和调整。它可以通过上下文理解和记忆先前的对话，以便更好地回应用户的需求。它可以根据不同的用例提供准确的回答和解决方案。
2023-07-10 14:54:41
12693
13
原创 SigLIP-2的发展历史
Google DeepMind推出的SigLIP-2是视觉语言模型（VLM）的重要升级，沿袭CLIP→SigLIP→SigLIP-2的发展路径。相比CLIP依赖超大batch的对比学习，SigLIP改用Sigmoid损失函数，提升了训练效率。SigLIP-2进一步引入Captioning Loss、自蒸馏、掩码预测等技术，增强了语义理解、定位能力和多语言支持，并支持动态分辨率处理。这些改进使其成为更强大的通用视觉编码器，为多模态大模型提供更好的视觉语义表示。
2026-07-10 09:23:44
358
原创 一文读懂 CLS Token（Classification Token）
CLS Token是Transformer模型中的一种特殊设计，主要用于收集全局信息并进行分类任务。它最早出现在BERT模型中，是一个可学习的参数向量，不具具体语义但能通过Self-Attention机制聚合整个输入序列的信息。在Vision Transformer（ViT）等视觉模型中，CLS Token同样用于汇总图像patch的全局特征。与传统池化方法不同，CLS Token能动态学习不同部分的重要性权重。目前，CLS Token仍广泛应用于BERT、ViT、CLIP等模型，尽管一些新模型也开始尝试均
2026-07-09 18:45:00
297
原创 一篇文章讲明白 Vision Transformer（ViT）
Vision Transformer (ViT) 是一种将Transformer架构应用于计算机视觉任务的模型。它将图像分割为多个小块(Patch)，每个Patch通过线性映射转换为Token，类似NLP中的单词处理。ViT的核心创新包括：1) Patch Embedding将图像转为Token序列；2) 添加CLS Token汇总全局信息；3) 使用Position Embedding保持空间信息；4) 通过Transformer Encoder的自注意力机制实现全局特征交互。相比CNN，ViT在缺乏局部
2026-07-09 10:05:12
233
原创 基于海光 DCU+qwen3.6 实现ugc社区内容风控的实践
摘要： 本文提出了一套基于海光DCU和Qwen3.6的UGC社区内容风控系统架构，覆盖文本、图片、视频、行为等多模态风险检测。系统采用五层架构设计（接入层→预处理层→推理层→策略引擎→处置层），利用DCU加速Qwen3.6的大模型推理，实现高吞吐（动态批处理优化3-10倍）和低延迟（P99<300ms）。Qwen3.6的核心价值在于语义理解能力，可识别隐晦违规内容（如谐音、黑话）和多模态组合风险，配合规则引擎和小模型形成分级过滤体系。工程实践强调模型可解释性、DCU资源分层调度及混合风控策略，最终构建具备实
2026-07-02 11:30:29
305
原创 一文搞明白 hipBLAS：ROCm 里的 BLAS 加速核心
hipBLAS是AMD ROCm生态中的高性能BLAS加速库，类似于NVIDIA的cuBLAS。它提供从向量到矩阵运算的各级BLAS功能，核心目标是利用GPU并行能力加速线性代数计算。作为ROCm软件栈的关键组件，hipBLAS位于HIP运行库之上，为PyTorch等框架提供底层支持。文章详解了hipBLAS的核心功能（如关键GEMM矩阵乘法）、在AI/LLM中的核心作用（Transformer约80%计算依赖它）、与rocBLAS的分工关系（API层vs底层实现），以及性能优化要点和常见工程问题。
2026-06-30 17:43:31
197
原创 提升 RAG 召回率的核心是：**让“正确文档更容易被搜到”，并且“不要太早把候选文档过滤掉”。**
本文总结了提升RAG（检索增强生成）系统召回率的10个关键方法，核心思路是优化文档检索过程，避免过早过滤有效信息。重点包括：优化文本切分策略（合理设置chunk大小和重叠率）；采用混合检索（向量+关键词）；扩大初始检索范围后精排；引入Reranker模型；进行查询改写和扩展；实施多路召回；使用父子文档检索；改进embedding文本质量；建立评测指标；以及处理非结构化内容。作者推荐优先优化文档切分、混合检索和重排序这三个环节，并强调构建评测集对量化改进效果的重要性。通过结构化流程和持续优化，可显著提升RAG
2026-05-29 17:19:08
441
原创 PyTorch 动态量化（Dynamic Quantization）
PyTorch的动态量化(Dynamic Quantization)是一种后训练量化方法，它仅量化模型权重为int8，而激活值在前向传播时动态转换为int8进行计算。这种方法无需重新训练，适用于CPU推理场景，能显著减小模型大小(3-4倍)并提升推理速度(2-4倍)。特别适合全连接层、LSTM和Transformer结构，但对卷积层效果有限。PyTorch通过quantize_dynamic函数实现该功能，只需指定量化层类型即可完成转换。动态量化相比静态量化和量化感知训练(QAT)更简单快捷，但精度可能略有
2026-05-22 21:15:00
289
原创 一文看明白PyTorch 模型设计训练保存加载预测
本文介绍了一个基于PyTorch的三层全连接神经网络实现。模型结构包含128→96→64→32的线性层，每层后接ReLU激活和20%的Dropout。代码演示了完整的训练流程（使用随机数据），包括模型定义、数据加载、训练循环（20个epoch），以及模型保存与加载预测。关键点包括：训练后保存权重为.pth文件、加载时需重建模型结构、预测时切换eval()模式禁用Dropout、使用no_grad()提升推理效率。该实现可作为PyTorch基础模型的参考模板，适用于32维输出的回归任务。
2026-05-22 15:46:29
441
原创 PyTorch 最小模型转 ONNX 完整样例
本文介绍了ONNX（开放神经网络交换格式）的基本概念和使用方法。ONNX是一种开源通用的深度学习模型标准格式，可实现不同训练框架间的模型迁移和高效部署。文章详细演示了如何将PyTorch模型导出为ONNX格式，包括环境配置、极简模型定义、导出代码、格式验证、模型简化以及使用ONNX Runtime进行推理测试等完整流程。关键参数说明和扩展示例进一步帮助开发者理解ONNX的实际应用。ONNX通过标准化模型格式，极大简化了深度学习模型的上线流程，是工业界AI模型部署的主流解决方案。
2026-05-21 19:55:55
154
原创 MinIO Webhook机制访问日志记录
MinIO的Webhook功能实现了对象存储的事件通知机制，当发生文件上传、删除等操作时，会自动向配置的HTTP接口发送POST请求。该功能支持多种事件类型（如对象创建、删除、访问等），主要用于实现文件自动处理、数据同步、监控告警等场景。通过JSON格式的事件数据，外部系统可以实时响应存储操作，构建事件驱动架构。配置方式包括控制台UI和日志配置，并可通过部署接收服务（如示例中的Flask应用）来处理事件通知，实现业务自动化。
2026-05-20 14:42:43
329
原创 算子融合（Kernel Fusion）代码实战
本文介绍了CUDA C++中算子融合(Kernel Fusion)的优化技术，通过将Conv、ReLU和Add三个算子合并为一个Kernel，实现了显著的性能提升。核心优化点包括：1) 中间结果只存储在寄存器/共享内存而不写回显存；2) 最终结果仅一次写回全局内存。与未融合的三个独立算子相比，融合后的算子将显存读写次数从6次减少到2次，延迟降低55%-70%。文章提供了完整的融合Kernel代码实现，对比了融合前后的执行流程差异，并展示了实测性能收益数据。这种优化模式是PyTorch、TensorRT等框架
2026-05-16 10:08:50
254
原创 使用HIP编写GPU 算子向量加法
HIP 是 AMD 推出的跨平台 GPU 编程接口，兼容 AMD 和 NVIDIA GPU。本文演示如何使用 HIP 编写一个简单的向量加法算子：1) 定义 __global__ 核函数实现并行计算；2) 使用 hipMalloc 分配设备内存；3) 通过 hipMemcpy 传输数据；4) 调用 hipLaunchKernelGGL 启动核函数。示例代码展示了完整的 HIP 算子开发流程，包括内存管理、核函数调用和结果验证，编译后可在不同 GPU 平台上运行。HIP 语法与 CUDA 高度相似，便于开发者
2026-05-15 20:20:57
124
原创 一文讲透Rerank模型：原理、作用、与Embedding的区别及选型指南
Rerank模型是RAG流程中的关键组件，用于对Embedding初筛结果进行精细排序。它通过「查询+文档」的全序列交互计算相关性分数，解决Embedding粗筛的语义模糊问题，平衡检索效率与效果。与独立编码的Embedding不同，Rerank能捕捉细粒度匹配，优先排列真正相关的文档。选型需考虑性能指标（MRR/NDCG）、推理效率、语言领域适配及生态支持。最佳实践是Embedding召回Top100+Rerank精选Top10，兼顾成本与效果。Rerank与Embedding协同工作，共同提升RAG系统
2026-05-14 20:55:11
815
原创 一文搞明白模型里面的文件都是干嘛的
Qwen3模型文件夹文件主要分为四类：1）模型架构与配置文件（config.json等），定义模型结构和运行方式；2）分词器文件（tokenizer.json等），负责文本与数字token的转换；3）模型权重文件（model.safetensors等），存储训练好的参数；4）辅助文件（README.md等），提供说明文档。核心流程：先读取config搭建模型框架，加载权重参数，通过分词器处理输入输出，最后用generation_config控制生成行为。其中config.json包含40960最大上下文长度
2026-05-14 20:33:09
503
原创 张量并行、数据并行、流水线并行 对比
本文对比了深度学习大模型训练的三种主要并行策略：张量并行、数据并行和流水线并行。张量并行通过层内切分解决单层显存不足问题，数据并行通过样本分配提高吞吐量，流水线并行通过层间切分处理超大模型。三种方法在并行粒度、适用场景和通信开销上各有特点，现代大模型训练通常组合使用这些策略。例如175B参数模型可同时采用张量并行(层拆分)、流水线并行(阶段划分)和数据并行(梯度同步)，实现在64张显卡上的高效训练。
2026-05-13 10:20:20
468
原创 GitLab 备份与恢复的完整流程
GitLab 备份与恢复指南 本文详细介绍了GitLab数据备份与恢复的完整流程。备份部分包括确认版本路径、创建备份（支持自定义路径和选择性备份）、查看备份文件及备份关键配置文件。恢复流程涵盖停止服务、放置备份文件、执行恢复命令、修复权限和验证恢复等关键步骤。文章还提供了实用技巧，如设置自动备份、异地存储方案和配置文件单独备份方法，并强调恢复时的注意事项。适用于Omnibus安装方式，兼顾自定义路径需求，帮助管理员高效管理GitLab数据安全。
2026-05-08 16:09:24
467
原创 LMCache + vLLM 部署指南（以 Qwen3-0.6B 为例）
本文档提供了在Linux环境下部署LMCache+vLLM框架的完整指南，以Qwen3-0.6B模型为例。首先介绍了系统依赖安装和Python虚拟环境配置，重点说明了LMCache服务器的启动参数和日志解读。随后详细阐述了vLLM服务的两种部署方式：基础模式和高兼容模式，并提供了常见错误的解决方案。最后展示了如何通过REST API测试模型推理功能。该方案通过GPU KV缓存管理显著提升了大语言模型的推理效率，支持灵活的参数配置以适应不同硬件环境。
2026-05-06 17:16:41
535
原创 LMCache 原理架构深度解析
LMCache是一种创新的KV Cache管理系统，专为大规模模型推理和多机部署设计。该系统采用六层架构，包括应用层、集成层、核心层、存储层、传输层和部署架构，实现统一、分布式的KV Cache管理。核心特性包括分块管理与多层存储、智能请求路由、异步传输与并发控制、高效编解码与压缩，以及跨节点共享能力。LMCache通过GPU/CPU/NVMe/远程存储的统一管理，显著提升推理性能，降低显存压力，支持vLLM、TensorRT-LLM等多种推理引擎，适用于大模型推理加速、多机GPU集群、混合存储环境和低延迟
2026-04-30 17:16:30
830
原创 手写最基础的大模型推理并使用Profile监控GPU性能消耗情况
摘要：本文介绍了如何使用torch.profiler监控大语言模型推理过程。通过配置profiler参数（如记录张量形状、内存占用和调用堆栈），可以精确分析GPU/CPU使用率、时间消耗和内存占用情况。文章提供了完整的代码示例，包括模型加载、推理生成和性能分析步骤，并展示了如何通过TensorBoard可视化分析结果。此外还给出了优化建议，如使用混合精度（torch.autocast）来提升大模型（7B+）的推理效率。最后通过Perfetto工具展示了性能分析的可视化结果，帮助开发者定位计算瓶颈。
2026-04-29 16:38:39
126
原创 手写最基础的大模型推理
手写一个，但是为了方便测试和节省显存，我们先用一个，比如distilgpt2（比 GPT-2 小很多，适合 CPU/GPU 本地跑）。下面我给你一个，不用任何复杂框架，也能做简单的文本生成。
2026-04-29 16:25:06
114
原创 模型性能分析GPU工具Profile实践
本文介绍了程序性能分析（Profile）的概念和应用。Profile用于测量程序运行时的性能指标，如执行时间、资源占用等，帮助开发者发现瓶颈并进行优化。文章详细讲解了CPU和GPU性能分析工具（如cProfile、nvprof、PyTorch Profiler等），以及关键性能指标（执行时间、内存占用、FLOPs等）。特别针对深度学习场景，提供了PyTorch Profiler的实践示例，展示如何记录和分析训练过程中的CPU/GPU时间、显存使用等数据，并通过TensorBoard可视化结果。最后还介绍了如
2026-04-28 20:22:06
462
原创 基于OpenAI Triton 进行算子的开发优化实践附代码直接运行
利用OpenAI Triton 进行算子优化附完整代码样例，Triton 是 OpenAI 开发的一种专门用于编写深度学习内核的编程语言和编译器。它让开发者能用 Python 语法编写高性能的 GPU 代码（类似 CUDA），但比 CUDA 更易用、更高效。
2026-04-27 20:36:29
479
原创 掌握CUDA 编程中四个核心的内建变量threadIdx、blockIdx、blockDim 和 gridDim
CUDA编程中的四个核心变量threadIdx、blockIdx、blockDim和gridDim定义了GPU线程的三级层次结构：线程→线程块→网格。gridDim表示网格中线程块的数量，blockDim表示每个线程块中的线程数，blockIdx和threadIdx分别定位线程块和线程在网格中的位置。通过组合这些变量可以计算线程的全局唯一ID，实现并行数据处理。这些变量支持1D/2D/3D组织方式，其中gridDim和blockDim是常量，blockIdx和threadIdx是变量。理解这些变量及其关系是
2026-04-22 22:15:00
499
原创 3 个由浅到深的 CUDA 编程完整示例
本文介绍了3个由浅入深的CUDA编程示例，涵盖基础向量运算、矩阵乘法和PyTorch结合应用。第一个示例演示了向量加法的完整流程，包括GPU内存管理、核函数调用和错误检查。第二个示例展示了矩阵乘法的优化实现，重点讲解了共享内存的使用和二维网格配置。第三个示例（未完整展示）涉及PyTorch与CUDA的结合应用。文章详细说明了环境配置、编译命令和关键编程要点，如cudaMalloc/cudaFree内存管理、cudaMemcpy数据传输以及核函数异步执行特性，帮助开发者从入门到掌握CUDA核心用法。
2026-04-22 21:45:00
461
原创 linux 下新增用户后无法使用TAB补全功能的最佳解决方法
本文介绍了Linux系统新用户TAB补全失效的常见原因和解决方法。90%的情况是由于默认Shell被设为/bin/sh（dash）而非/bin/bash。解决方案包括：1）确认当前Shell；2）通过chsh命令或直接编辑/etc/passwd切换为bash；3）安装bash-completion补全包并加载配置；4）检查缺失的.bashrc等配置文件。最后提供了验证补全功能是否恢复的方法。文章还包含了具体的命令示例和操作步骤，帮助用户快速解决问题。
2026-04-21 10:58:30
207
原创 开源画图神器next-ai-draw-io深度解析：一句话生成专业架构图，告别手动拖拽烦恼
《AI绘图神器next-ai-draw-io：一句话生成专业图表，彻底告别手动绘图》 摘要： next-ai-draw-io是一款基于AI的开源绘图工具，2026年在GitHub爆火（24.4k星标），解决了传统draw.io手动绘图的核心痛点。它通过自然语言交互，10秒内生成可编辑的专业图表（架构图/流程图/UML图等），支持对话式修改和私有化部署。技术原理是将大语言模型与draw.io渲染能力结合，把自然语言转换为XML代码再可视化。提供Docker一键部署方案，适用于架构师、开发者、产品经理等群体，显
2026-03-31 18:04:09
3008
原创 面向大规模多模态推理的高效服务架构
本文提出一种面向大规模多模态推理的高效服务架构，针对传统单体式架构存在的资源利用率低、重复计算开销大和延迟不可控等问题，通过解耦服务、双缓存优化与智能路由技术实现性能提升。架构核心包括多模态预处理层、智能路由层、双缓存优化层和阶段解耦执行层，将推理过程拆分为编码、预填充和解码三个阶段并分别优化。实验表明，该架构显著降低了首字延迟和每字生成时间，提升了吞吐量和请求处理能力，为多模态大模型的实际应用提供了高效解决方案。
2026-03-28 11:31:33
247
原创 一文读懂NVIDIA Dynamo：AI推理的“智能交通指挥官”
NVIDIA Dynamo是专为AI推理优化的开源软件框架，通过创新技术解决GPU资源浪费、重复计算等痛点。其核心组件包括分离式服务（将推理拆分为预填充和解码阶段）、KV感知路由器（避免重复计算）、KV块管理器（高效处理超长文本）等，显著提升GPU利用率。Dynamo 1.0新增极速启动、零配置部署等功能，实测显示可提升67%吞吐量并降低50%以上成本。该框架已成为大规模AI推理部署的新标准，助力企业实现性能与成本的双重优化。
2026-03-28 10:35:22
400
原创 SGLang、TensorRT-LLM和vLLM大模型推理框架对比
SGLang、TensorRT-LLM和vLLM是三种主流的大模型推理框架，各具特色。SGLang专注于结构化输出和高效缓存，适合多轮对话场景；TensorRT-LLM依托NVIDIA硬件加速，优化推理速度和GPU利用率；vLLM则通过分页注意力机制提升显存效率，适用于高并发场景。三者分别在编程灵活性、硬件适配性和资源管理方面具有突出优势，为不同应用需求提供了多样化的解决方案。
2026-03-27 16:10:05
375
原创 使用OpenClaw与Elasticsearch实现智能数据操作与分析
OpenClaw是一个强大的数据操作框架，结合Elasticsearch的搜索和分析能力，可以构建高效的数据处理管道。以下是实现这一集成的详细方案.
2026-03-11 14:51:42
916
原创 OpenClaw 多 Agent 配置实战指南：从零搭建你的 AI 团队
本文介绍了如何通过OpenClaw配置多Agent系统，将单一AI拆解为专业分工的智能团队。重点对比了单网关与双网关两种架构模式的特点及适用场景，推荐新手使用更简单的单网关方案。详细说明了创建Agent、配置模型与角色定义的核心步骤，并强调了会话可见性和通信白名单设置对Agent协同的关键作用。最后通过Kubernetes博客案例展示了主Agent如何调度写作和开发Agent协同完成任务，实现复杂任务的分解与专业处理。
2026-03-04 21:45:00
4416
原创 OpenCode 免费模型深度评测：四大开源模型场景化对比与选型指南
OpenCode开源大语言模型生态提供四大免费模型：Trinity Large Preview（400B稀疏MoE架构，适合创意写作/复杂推理）、Big Pickle（轻量稳定，适合日常编程）、MiniMax M2.5 Free（架构师级编程能力，支持工具调用）和GPT-5 Nano（极速响应，成本最低）。选型建议：追求性能选Trinity，稳定易用选Big Pickle，专业编程选MiniMax，快速低成本选GPT-5 Nano。这些模型覆盖从创意到企业级开发的全场景需求，推动AI技术普惠化。
2026-03-04 11:13:37
10296
1
原创 一文读懂 OpenCode：终端里的开源 AI 编程搭档
OpenCode 以其独特的“终端优先”理念和开源灵活性，迅速成为开发者社区的热门选择。它不仅仅是一个代码生成器，更是一个能与你并肩作战的 AI 编程 Agent。
2026-03-02 15:15:15
1548
原创 一文读懂OpenRouter：全球AI模型的“超级接口”,很多免费模型
在人工智能技术百花齐放的今天，开发者面临着一个“幸福的烦恼”：市面上有GPT-4、Claude、Gemini、Kimi、GLM等众多顶尖大模型，但每个平台都需要单独注册、管理API密钥、对接不同接口文档，极大地增加了开发成本与技术门槛。OpenRouter的出现，正是为了解决这一痛点。它不仅是一个AI模型聚合平台，更被业界视为全球AI模型竞争的“风向标”。
2026-02-28 11:41:57
4703
原创 OpenClaw 最强“军火库”，700w+ Skills，一条命令全能“武装”！
OpenClaw + 700+ Skills 的组合，真正让 AI 从“聊天”跨越到了“做事”。它能帮你写代码、做 PPT、控制智能家居，甚至处理复杂的调研报告。如果你已经准备好，现在就可以去 GitHub 搜索。
2026-02-23 20:18:23
1131
原创 1分钟使用openclaw生成ppt
本文档旨在指导用户如何使用OpenClaw的PPT生成Skill来自动化生成高质量的PPT演示文稿。该Skill不仅支持从现有PPT文件中提取内容，还能根据用户需求创建全新的PPT，包括设计布局、选择配色方案、添加图表和图片等，从而极大地提升PPT制作的效率和质量。
2026-02-23 19:52:34
8910
1
原创 一文读懂Agent Skills：AI智能体的可复用能力模块
Agent Skills（智能体技能）是一种**模块化、可复用的能力包**，通过结构化封装特定任务的专业知识、工作流程和可执行逻辑，使AI智能体在执行任务时具备**稳定、一致且可持续演进**的行为能力。其核心价值在于：1. **告别重复提示词**：将复杂任务拆解为可复用的技能模块，避免每次手动输入冗长提示词。2. **提升任务一致性**：确保不同智能体或同一智能体在不同场景下执行任务的方式高度一致。3. **降低开发成本**：技能可跨平台、跨智能体共享，减少重复开发工作。4. **支持动态扩展**：
2026-02-22 14:13:11
733
原创 一分钟实现openclaw对接飞书实现办公自动化
一分钟实现 OpenClaw 对接飞书，可以让您在飞书的单聊或群聊中直接使用 OpenClaw 的 AI 能力，如总结会议、分析数据、编写代码等，实现办公自动化。
2026-02-16 23:21:41
3271
原创 1分钟轻松部署openclaw
1分钟轻松部署openclaw，OpenClaw 是一款开源的、可自托管的个人 AI 智能体助手，其核心定位是能够主动执行本地计算机系统任务的“数字员工”，实现了从传统 AI 的“对话”到实际“做事”的跨越。
2026-02-16 11:02:45
4478
PyTorch Profile（性能分析） 的样例
2026-04-28
ycsb-mongodb
2024-01-18
DmJdbcDriver
2023-02-27
mybatis-generator.zip
2020-02-29
noVNC-1.0.0.tar.gz
2019-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人