自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(209)
  • 收藏
  • 关注

原创 高斯列主元消去法(matlab两种实现方法)

matlab实现高斯列主元消去法,编写了两个函数文件,都能实现相同的功能。

2024-03-18 20:56:07 7443 7

原创 matlab绘图(二)绘制三维图像

曲面图绘制(只需将mesh改为surf即可),这十张图片体现不同的颜色映射风格,标题为对应的colormap的值。对应列元素绘制三维曲线,曲线条数等于矩阵列数。由各划分点分别作平行于两坐标轴的直线,则得到二维矩形区域。surf用于绘制三维曲面图,各线条之间的补面用颜色填充。对于参数形式表示的三维曲线,还可以用简易绘图函数。组成一组曲线的坐标参数,选项的定义和。C(i,j)是Pij的颜色值。1.最基本的绘制三维曲线的函数。等函数就可以把这张曲面画出来。映射到曲面上,就得到曲面上的。表示的曲面,通常,先在。

2023-03-10 11:52:37 57334 6

原创 matlab绘图(一)简单二维图像

matlab绘制二维曲线的方法,基本描述,plot函数用法,颜色,线性,标记设置。图形的标注格式。

2023-03-06 16:41:07 3430

原创 大模型评估实战指南:从 Perplexity 到 LLM-as-a-Judge,一文吃透评测全流程

做了一年多大模型应用开发,最深感受是:评估被严重忽视。多数团队靠“感觉”上线RAG系统,结果翻车。评测应从“我觉得行”转向“数据证明行”。当前评测正从饱和的静态基准(如MMLU)转向代码、智能体、长上下文等动态场景。本文构建“评测金字塔”——从低成本的困惑度(PPL)、BLEU/ROUGE(需中文分词处理),到标准基准(如SWE-bench、C-Eval),再到人工与LLM评判,层层递进。附可运行代码,助你搭建完整评估体系,让模型真正可信可用。

2026-10-09 21:15:53 352

原创 Python 装饰器详解

本文系统讲解 Python 装饰器的底层原理与实战应用,从函数一等公民、闭包、高阶函数出发,逐步深入装饰器核心机制,涵盖 *args/**kwargs、functools.wraps、带参装饰器、类装饰器、描述符与元类等进阶内容。通过可运行代码示例,揭示 @app.route()、@lru_cache 等框架装饰器的本质,并提供类型安全、异步支持及常见陷阱规避方案,助开发者掌握装饰器模式在 AOP、注册表等设计中的应用,实现优雅高效的代码重构。

2026-10-09 21:00:08 402

原创 增广拉格朗日法(ALM)从原理到实战:附 Python & MATLAB 完整实现

本文系统阐述增广拉格朗日法(ALM)的核心思想:通过在拉格朗日函数中添加二次罚项,实现无需罚参数趋于无穷即可获得精确可行解,并保持数值稳定性。相比传统罚函数法的病态问题,ALM利用乘子更新机制,结合内层优化与外层修正,实现超线性收敛。文章从拉格朗日乘子法出发,推导ALM原理,提供可运行的Python/MATLAB代码,通过三个算例验证其高效性,并揭示其与ADMM的深层联系,最后给出实用调参建议。

2026-10-07 18:44:58 371

原创 深入理解对偶单纯形法:原理推导与 Python/MATLAB 编程实现

本文从对偶视角系统阐述对偶单纯形法,揭示其在保持对偶可行性前提下恢复原始可行性的核心思想。通过对比原始与对偶单纯形法的迭代准则、主元选择及应用场景,推导出基于检验数与右端项的转轴规则,并给出完整的Python与MATLAB实现。数值实验验证了该方法在割平面法、灵敏度分析等场景中的高效性,凸显其作为现代优化求解器核心算法的重要地位。

2026-10-07 18:21:46 479

原创 图像压缩与编码

一张4000×3000的照片原始大小约36MB,经JPEG压缩后仅300KB,压缩比达120:1。这背后是图像压缩的精妙工程:通过去除空间冗余(相邻像素相似)、频谱冗余(频率能量集中)和视觉冗余(人眼不敏感信息),实现高效存储与传输。核心在于有损压缩——以量化为关键步骤,在保持视觉质量的前提下大幅减小文件体积。从JPEG到WebP、AVIF,压缩效率持续提升,本质是逼近香农提出的率失真理论极限。掌握图像压缩,不仅能优化带宽成本,更能深入理解现代视觉系统的核心逻辑。

2026-10-03 16:46:34 373

原创 图像变换:从齐次坐标到单应性

本文深入解析图像变换的核心原理,从齐次坐标、仿射与透视变换的数学基础,到单应性矩阵求解(DLT与SVD)、反向映射插值策略,手写实现warpAffine并结合文档扫描、AR贴图、全景拼接三大实战案例,完整呈现从理论到工程落地的全流程。附带高频踩坑指南与性能优化建议,助你真正理解“为何用”、“如何调”、“出错往哪查”,是掌握计算机视觉底层能力的关键一课。

2026-10-03 10:04:59 402

原创 图像预处理与增强:从像素调优到工业级 Pipeline

本文系统梳理图像预处理与增强的工程链路,揭示“输入质量决定模型上限”的核心逻辑。从色彩空间转换、几何校正到低光照增强、文档矫正等实战案例,结合可运行代码,涵盖预处理、画质增强与数据增强三大环节,附高频踩坑指南与性能优化建议,助力提升视觉模型准确率。

2026-10-02 17:50:31 351

原创 模型部署的「通用语」:ONNX 转换

本文系统讲解ONNX作为深度学习模型部署“通用语”的核心价值,针对训练与生产环境脱节的痛点,详述PyTorch/TensorFlow到ONNX的全流程转换方法,涵盖opset选择、动态维度处理、算子兼容性、数值对齐验证等关键环节,并提供YOLO、LLM等场景实战案例。结合ONNX Runtime性能调优、INT8量化、模型瘦身及跨平台部署(TensorRT/OpenVINO/Core ML/ORT Web/C++推理)策略,附15大踩坑解决方案与生产级脚本,助力算法模型高效落地。

2026-10-01 19:47:16 937

原创 AI 大模型算法岗面试题库

本文系统梳理大模型核心技术栈,涵盖深度学习基础、Transformer架构、预训练微调、RLHF对齐、推理优化、RAG/Agent、多模态及分布式训练等9大模块,含100+道精选题,每题附考点、参考答案与详细追问解析,并提供11段可运行代码。建议采用“自测→标记→二轮专攻”策略高效备考,特别强调Pre-LN、RMSNorm、AdamW等现代LLM核心设计原理与工程实践。

2026-10-01 10:51:15 357

原创 LoRA 微调完全指南:从低秩假设到工程落地

2021年,微软提出LoRA:基于“权重更新低秩”的假设,冻结大模型原始参数,仅训练两个小规模低秩矩阵,将175B模型的可训练参数降至3700万(约1/10000),显存需求降低3倍,且不增加推理延迟。五年间,LoRA演变为大模型生态基础设施,支撑稳定扩散、LLaMA-Factory、vLLM等主流框架。本文从数学推导、初始化策略、缩放因子设计出发,解析其核心思想——ΔW = BA并非近似,而是全新参数化;结合QLoRA的4bit量化与分页优化器,实现65B模型单卡部署;揭示多租户、热插拔等工程红利,并梳理

2026-09-30 14:04:21 496

原创 大模型训练的“三维立体战“:一文读懂3D并行技术

训练大模型需突破单卡瓶颈,3D并行策略融合数据、张量与流水线并行:数据并行通过复制模型分摊计算负载;张量并行将矩阵运算拆分至多卡,降低显存压力;流水线并行按层切分模型,提升资源利用率。三者协同实现万卡集群高效训练,显著缩短训练周期,是GPT-4等超大规模模型落地的核心技术支撑。

2026-09-30 10:47:42 375

原创 偏微分方程数值解:从理论到实现

偏微分方程是科学与工程计算的核心。从热传导、流体力学、电磁学到金融工程,PDE无处不在。然而,绝大多数PDE不存在解析解,必须依靠数值方法求解。本文将以几类经典PDE为载体,系统介绍主流数值方法:我们从最简单的一维稳态问题开始,逐步扩展到二维和时变问题。有限差分法的核心思想是:用差商代替微商,将连续的微分算子离散为代数方程组。对于一维二阶导数,中心差分格式(二阶精度)为:d2udx2∣xi≈ui+1−2ui+ui−1h2+O(h2)\frac{d^2 u}{dx^2}\bigg|_{x_i} \appr

2026-09-29 15:25:50 315

原创 图像分割全解析:从经典算法到深度学习的原理与实战(Python + MATLAB)

本文系统讲解图像分割的六大核心方法:从传统阈值(Otsu)、边缘(Canny)、区域(分水岭)、聚类(K-Means)、图割(GrabCut)到深度学习(U-Net、SAM),每种算法均配数学原理、Python与MATLAB代码实现。内容涵盖分割本质、分类体系、选型指南与工程实战经验,帮助读者深入理解并精准应用各类算法,实现像素级精准分割。

2026-09-29 12:41:32 396

原创 为什么现在的大模型主流采用 Decoder 架构,而不用 Encoder 架构?

为什么主流大模型采用 Decoder 架构而不用 Encoder?统一的目标与接口:CLM(预测下一个 token)用一个目标统一了几乎所有 NLP 任务,无需任务专用头。训练信号稠密:每个 token 都贡献损失,算力利用效率更高。与 Scaling Law 契合:简单、可预测、可持续扩展,"加数据加算力"即可受益。涌现能力绑定其上:上下文学习、少样本提示——大模型时代的核心范式——在 Decoder-only 上自然涌现。架构简洁 + 推理高效。

2026-09-28 20:24:14 391

原创 卷积神经网络(CNN)深度解析:从原理到实践

卷积神经网络(CNN)通过局部连接、权值共享和池化下采样,有效解决了全连接网络在图像处理中的参数爆炸与空间信息丢失问题。其核心在于卷积运算提取局部特征,结合激活函数引入非线性,并通过感受野实现对空间结构的深层理解。经典架构如AlexNet、VGG、ResNet等推动了计算机视觉发展,广泛应用于图像分类、目标检测等领域。1×1卷积与深度可分离卷积等创新进一步提升了效率。CNN亦拓展至NLP,实现文本特征提取。

2026-09-28 19:49:07 769

原创 边缘检测与水印去除:原理、算法与实现

本文从理论、算法与实践三个层面系统阐述了边缘检测与水印去除技术。在理论部分,详细推导了边缘检测的数学基础,深入剖析了 Sobel、Prewitt、Laplacian 以及 Canny 等经典算子的原理与特性,并系统梳理了水印去除的数学模型(加法模型、混合模型)及主流方法分类。在算法层面,重点论述了如何将边缘信息作为先验知识融入水印去除过程,提出了基于边缘引导的泊松修复框架,通过 Canny 边缘检测提取结构信息,进而指导修复区域的梯度传播与边界保持。

2026-09-27 10:21:27 316

原创 IDCNN+CRF 中文医学命名实体识别:从原理到代码的全面拆解

本文介绍一个基于IDCNN+CRF的中文医学命名实体识别项目,旨在从病历文本中高效提取“症状”与“疾病”实体。采用轻量级IDCNN替代传统BiLSTM,通过扩张卷积实现大感受野且推理速度快3-5倍;结合CRF层建模标签转移约束,提升序列标注精度。模型结构清晰,模块化设计,支持快速迁移至其他医疗领域,兼具效率与准确性,适用于实时辅助诊断等场景。

2026-09-27 09:35:30 476

原创 C# 编程入门指南

本文全面介绍了 C# 编程语言的过去、现在与未来。从诞生背景和二十余年的演进历程出发,深入剖析了 C# 的十大核心优势——包括优雅的语法设计、LINQ 数据查询、async/await 异步编程、Native AOT 原生编译等关键特性。文章覆盖游戏开发、Web 后端、桌面应用、移动开发、云原生、AI 机器学习、物联网等七大应用领域,并提供了从零到一的实战指南:.NET SDK 安装配置、VS Code 开发环境搭建、dotnet CLI 终端操作、三种 EXE 打包发布方式详解。

2026-09-27 08:49:26 317

原创 从 GRPO 到 GSPO:大模型强化学习算法的范式演进与工程实践

GRPO通过组内相对优势取代PPO的价值网络,显著降低显存开销,成为开源RL微调的事实标准。然而,Qwen团队在GSPO中指出,GRPO因将重要性采样权重误用于token级粒度,导致长序列训练时目标函数病态,引发模型崩溃。GSPO仅需将优化粒度从token级改为序列级,即实现根本修复,揭示“优化目标粒度必须匹配奖励粒度”的核心原则。该改进带来训练稳定性提升、基础设施简化与超参鲁棒性增强,推动多轮RL发展。同时,研究揭示RL主要提升Maj@K而非Pass@K,反映其强化的是推理路径的可靠性而非单一正确答案。

2026-09-26 23:09:43 559

原创 常微分方程数值解:从原理到代码实践

本文系统介绍常微分方程初值问题的数值解法,涵盖Euler、Runge-Kutta、Adams及刚性方程求解器等核心方法,并提供Python与MATLAB双版本可运行代码。从误差分析到稳定性原理,结合可视化对比,帮助学生、竞赛选手与工程师快速掌握高精度、高效求解技巧,实现理论与实践的无缝衔接。

2026-09-26 19:37:03 440

原创 DeepSeek-V4.1-Flash 深度拆解

DeepSeek-V4.1-Flash 通过 CED 架构与 CSA2 等创新,将 552B 模型的 KV Cache 降至仅 890 字节/token,较前代降低 75%。其核心在于:CED 实现 prefill 时仅激活一半参数,解码层直接复用编码器输出作为全局 KV;CSA2 则通过跨层 KV 复用与分层稀疏索引,大幅压缩存储与计算开销。该设计有效破解长上下文部署中显存、带宽与持久化存储三大瓶颈,为大模型在 Agent 场景下的高效推理提供了架构级突破。

2026-09-24 00:14:29 515

原创 FP16 训练后导出 ONNX 报错?记录纠错模型的部署踩坑与完整实战

本文以 ValueError: Input is not valid 报错为切入点,详解 MacBERT 中文纠错模型从 PyTorch 训练到 ONNX 导出、再通过 FastAPI 与 ONNX Runtime 部署上线的全流程。核心问题在于将 tokenizer 错误嵌入 forward 函数,导致 ONNX tracing 时传入 Tensor 而非字符串,引发报错。实为 FP16 的“烟雾弹”,本质是推理逻辑与模型结构分离不当。文中提供可复用代码,完整覆盖三模型(NER、SimCSE、MacBER

2026-09-22 18:36:21 288

原创 数值积分与数值微分:从梯形公式到 Gauss 求积

本文深入解析数值求积的核心思想:当牛顿-莱布尼茨公式失效时,用有限个函数值的加权和逼近积分。通过插值构造统一框架,揭示梯形、Simpson、Romberg与Gauss求积公式的内在逻辑。重点阐释代数精度、误差阶与节点优化的深层联系,揭示为何Gauss公式仅需5点即可超越Simpson的129点。结合实际案例与代码验证,帮助读者建立对“离散逼近连续”的直觉量感,掌握工程中高效、稳健的积分方法。

2026-09-22 11:56:34 212

原创 线性方程组的数值解法

本文系统介绍线性方程组数值解的十大核心算法,涵盖高斯消元、LU/Cholesky分解、QR分解及雅可比、共轭梯度等迭代法,每种算法均提供原理推导、复杂度分析、双语言实现与稳定性讨论,并结合工程场景(如有限元、流体力学、机器学习)展示应用价值。强调条件数对解精度的影响,对比直接法与迭代法适用边界,助力科研与工程人员掌握科学计算底层逻辑。

2026-09-21 22:51:10 179

原创 矩阵特征值与特征向量计算:从幂法到 QR 算法的完整实战

本文系统介绍特征值与特征向量的六类经典数值算法:幂法、反幂法、Rayleigh商迭代、Householder变换、QR算法与Jacobi方法,并提供可运行的Python与MATLAB实现。涵盖数学基础、收敛性分析及工程应用,适用于小规模精确计算与大规模稀疏矩阵求解,为PageRank、PCA、振动分析等场景提供高效数值工具。

2026-09-21 22:11:12 620

原创 非线性方程与方程组的数值解法

本文系统介绍五种经典非线性方程数值解法:二分法、不动点迭代、Newton法、割线法与拟Newton法,每种方法均提供Python与MATLAB实现,辅以收敛性分析与数值实验。针对工程、金融、机器学习等领域的复杂方程求解需求,文章强调数值方法的必要性,并通过代码实践帮助读者掌握算法原理与应用技巧。建议动手实现,深入理解不同方法的优劣与适用场景。

2026-09-20 20:57:05 269

原创 数值分析中的插值法:从拉格朗日到埃尔米特插值

本文系统介绍数值分析中三种经典插值方法:拉格朗日、牛顿与埃尔米特插值法,阐述其原理、优缺点及适用场景,并提供Python与MATLAB完整实现代码。通过可视化对比,揭示不同方法在精度、计算效率与稳定性上的差异,助力读者在科学计算与工程建模中合理选择插值策略。

2026-09-20 18:15:55 116

原创 90% 的 Python 开发者都踩过的路径坑:import 通了,为什么文件找不到?

Python 中存在四套独立的路径系统:当前工作目录(cwd)、sys.path、__file__ 和 sys.argv[0],它们互不干扰。import 依赖 sys.path,而 open() 等文件操作依赖 cwd,二者常导致“导入成功却文件找不到”的错觉。常见错误如误用 os.chdir() 切换目录后仍期望相对路径生效,或误以为 import 是相对于当前目录查找。关键在于理解:sys.path 控制模块导入,cwd 控制文件路径,两者分离。正确做法是使用 pathlib.Path(__file_

2026-09-19 23:09:59 164

原创 生产级医疗AI Agent:Multi-Agent RAG架构解析

本文分享一个生产级医疗健康AI Agent项目实战经验,基于Multi-Agent RAG架构,构建中西医融合的多模态问答系统。核心亮点包括:七层分层架构设计、四级Agent流水线(Router→Skills→Medical→Reflection)、Milvus混合检索(HNSW+BM25+RRF)、父子文档切分提升召回精度,以及ReAct+Reflection+Self-Correction的智能纠错机制。系统兼顾专业性、安全性与用户体验,支持语音对话与数据飞轮迭代,技术细节全面,助力开发者避坑提效。

2026-09-19 22:44:40 326

原创 从 0 到 1 构建生产级语音服务:解析 ChatPPT 的 voice_service.py

本文拆解 ChatPPT 语音服务模块 voice_service.py,从零构建支持 ASR/TTS 的自包含语音系统。通过 ffmpeg 实现多格式音频转码,采用二进制 WebSocket 协议(自定义 TLV 格式)高效流式传输语音数据,结合异步 I/O 与同步接口桥接,实现低延迟、高容错的语音交互能力。工程上注重安全(环境变量管理)、可维护性(分层架构)与兼容性(魔数检测、灵活解析),为 AIGC 应用提供可靠语音链路。

2026-09-18 13:03:22 287

原创 ChatPPT多智能体项目

本文基于LangGraph与多智能体架构打造的ChatPPT项目,实现语音/文本/文档输入下自动生成功能完整、配图精美、可扩展的PPT。系统通过7个分工明确的Agent(如总控、大纲生成、审阅、配图等)协同工作,采用规则+LLM混合决策的星型调度机制,确保流程稳定可控。借助共享状态机与条件边控制,实现审阅-修订闭环,并支持动图生成与PPTX导出。项目结构清晰,具备工程化落地能力,为AI驱动内容生成提供了可复用的范式。

2026-09-18 12:07:11 427

原创 RAG 优化实战:从精确召回、QA 生成到上下文压缩的全链路工程化方法

本文针对RAG应用中常见问题,基于真实实验代码,系统拆解四大优化环节:智能分块(结构感知、对话轮次切分)、QA生成优化、高级召回策略(父子文档、Agent分块)及后处理工程优化(重排序、上下文压缩)。提供可运行代码与调优建议,帮助开发者降低幻觉率、提升召回准确率、控制Token成本,实现高效落地。

2026-09-17 22:13:19 845

原创 注意力机制的进化:MHA → GQA → MLA → CSA → HCA

大模型注意力机制演进核心是“表达能力 vs 推理成本”的博弈。MHA 表达力最强但 KV Cache 最贵;GQA 共享头压缩宽度,折中省显存;MLA 低秩潜在向量再降 93% 缓存,保持多头多样性。CSA 转向长度压缩,4:1 分块+索引器稀疏检索,降低长上下文计算;HCA 激进 128:1 压缩,全量浏览历史,无需索引。两者交替堆叠,实现“局部细节+中程检索+全局粗粒”分层覆盖。演进从“每 token 变窄”跃迁至“上下文变短”,持续优化帕累托边界,支撑百万级上下文。

2026-09-04 21:41:49 432

原创 从零构建医学AI Agent核心工具链:知识检索、联网搜索到智能路由

本文深度剖析一套生产级Python RAG工具模块(tools.py),涵盖基于Milvus的异步混合检索(HNSW向量+BM25稀疏+RRF融合)、联网搜索封装及轻量智能URL提取。重点揭秘依赖注入、懒加载优化、基于bigram的微秒级相关性过滤,以及OpenAI函数调用集成范式。结合实战,分享TTFT从800ms降至200ms的调优历程,探讨可观测性、错误边界与工程鲁棒性。适合追求高性能检索与稳定工程落地的AI开发者,提供从设计哲学到代码细节的全维度解读。

2026-09-01 10:17:26 347

原创 构建智能Agent的记忆系统:三层记忆管理器设计

本文基于生产环境代码,深度剖析 Agent 记忆系统的三层设计:短期记忆(进程内 LRU + 滑动窗口,支撑多轮上下文)、长期记忆(Redis Hash + 7 天滑动 TTL,存储偏好与反思)、语义记忆(Milvus 向量检索,相似问题复用)。核心亮点包括:OrderedDict 零依赖实现 LRU、asyncio.to_thread 异步隔离、上下文指纹防缓存“串话”、反思学习(Reflection)的极简落地。

2026-09-01 10:06:38 480

原创 基于FastAPI + Milvus + DeepSeek构建的医学知识问答系统

本文介绍如何基于FastAPI、Milvus向量数据库(支持稠密+稀疏混合检索)和DeepSeek大语言模型,构建医学知识问答系统。系统采用智谱Embedding模型生成向量,通过RRF算法融合多路召回结果,并结合ParentDocumentRetriever策略处理长文档,确保上下文完整。API接收用户问题,检索相关文档后构建含角色约束和上下文标记的提示词,调用DeepSeek生成严谨回答。文章详细解析了环境配置、Milvus双实例设计、父子分割器、重排序逻辑及部署方式,并讨论了混合检索、父子策略等亮点,

2026-08-26 20:29:44 301

原创 强化学习工具函数详解:从经验回放到优势函数计算

本文解析了强化学习工具模块rl_utils.py,涵盖经验回放缓冲区(基于deque实现固定容量随机采样)、滑动平均平滑函数(处理边界、绘制稳定曲线)、在线策略(按轨迹更新)与离线策略(经验回放+小批量更新)两种训练模板,以及广义优势估计(GAE)的递归计算实现。各组件独立可复用,适配Gymnasium接口,可快速集成至PPO、DQN等算法,提升实验效率与代码可读性。适合RL开发者作为基础库参考。

2026-08-26 20:20:00 357

Python自动判识不同岩相对应的潜力层

识别不同岩相分别发育哪种类型的潜力层

2024-05-27

Linux常用命令汇总

这是一份面向后端开发者、运维新人和 Linux 进阶读者的实战型命令指南。内容覆盖文件与目录操作、grep/sed/awk 文本处理三剑客、进程与系统资源排查、权限管理、网络与磁盘排障、管道与重定向,以及大量高效技巧和常见踩坑避坑指南。文档强调“拿来即用”,每个命令都配有实用示例和真实场景说明,帮助你摆脱只会 cd 和 ls 的初级阶段,逐步建立 Linux 的“组合命令”思维与“一切皆文件”哲学。无论是作为日常速查手册、入门学习资料,还是进阶巩固参考,都很有价值。

2026-10-08

深入探索 x-transformers:一个全功能 Transformer 实现库的实战指南

在深度学习领域,Transformer 架构已经成为现代 AI 系统的基石。然而,随着研究的快速发展,复现最新的架构改进往往需要大量的工程工作。x-transformers 是由 lucidrains 开发的一个 PyTorch 库,它不仅仅是一个标准的 Transformer 实现,而是一个集成了大量前沿研究成果的全功能工具包。本文将通过分析 9 个实际训练脚本,深入探讨该库的核心特性和高级用法。

2026-03-05

Python程序设计 复习资料

这是一份完整的Python复习资料,这份资料包含Python核心知识点,涵盖从基础语法到高级特性的全部内容,包括填空题、选择题的知识点解析,以及编程题的详细解答。资料将分为十个主要章节:Python语言基础、控制结构、字符串与正则表达式、列表与元组、字典与集合、函数与模块、面向对象程序设计、文件操作、异常处理和图形用户界面设计。每个章节都会包含核心概念讲解、常见考点分析和典型例题解析,帮助您全面掌握Python编程技能。

2026-03-04

AI面试实战:从NER到文本生成的技术全解析

BLEU是机器翻译领域的经典指标,其核心思想是通过统计候选译文与参考译文之间的n-gram重叠度来评估翻译质量。该指标采用精确率导向,特别关注生成文本的准确性,并引入了短句惩罚机制以防止模型生成过短的敷衍输出。然而,BLEU的局限性在于对词汇表面形式过于敏感,无法识别"开心"与"高兴"这类语义等价但字面不同的表达,这在需要灵活变通的场景中可能成为瓶颈。 ROUGE则是专为文本摘要任务设计的评估体系,与BLEU的精确率导向不同,它采用召回率导向,重点衡量生成摘要覆盖参考摘要关键信息的程度。ROUGE包含多个变体,其中ROUGE-1关注单词级匹配,ROUGE-2考察短语连贯性,而ROUGE-L则通过最长公共子序列算法允许非连续匹配,对词序变化更具包容性。这种设计使得ROUGE更适合摘要任务的本质特征——同一文档可以存在多种合理摘要,核心在于信息完整性而非字面一致性。 Perplexity作为语言模型的专属指标,其物理意义是模型预测下一个词时的平均选择分支数。较低的困惑度表明模型对文本模式把握更精准,预测不确定性更小。

2026-02-28

粒子群算法(PSO)优化BP神经网络:从原理到实战

摘要:本文提出一种基于粒子群优化(PSO)算法改进BP神经网络的方法,通过将网络权重映射为粒子位置、损失函数作为适应度,克服传统BP算法易陷入局部最优的问题。实验表明,PSO-BP在回归任务中训练集MSE降低96.8%,测试集MSE降低97.38%。文章详细阐述了算法融合原理、Python模块化实现(包含BPNN和PSO核心类),并分析了超参数敏感性。进阶优化策略包括混合PSO-BP微调、自适应参数调整和多种群优化。该方法特别适用于小规模数据集和浅层网络,为智能优化与神经网络的结合提供了实用范例。

2026-02-25

使用 Python + Tkinter 打造"猫狗大战"回合制策略游戏

使用 Python 标准库 Tkinter 开发的回合制战斗游戏——"猫狗大战"。在不依赖第三方游戏引擎的情况下,利用 Python 内置工具构建具有完整交互界面的桌面游戏。

2026-02-21

知识蒸馏实战:用ResNet50教师模型训练轻量级CNN学生模型实现CIFAR-10高效分类

在深度学习模型部署中,模型压缩与推理加速是核心挑战。本项目将使用知识蒸馏(Knowledge Distillation)技术,将强大的ResNet50教师模型"知识"迁移到轻量级CNN学生模型,在CIFAR-10数据集上实现130倍模型压缩与5-10倍推理加速,同时保持90%+的准确率。知识蒸馏由Hinton等人于2015年提出,核心思想是:让小模型(学生)学习大模型(教师)的"软标签",而非直接学习硬标签。 关键设计: 数据增强差异化:教师模型需要更强泛化能力,使用ColorJitter;学生模型专注学习教师分布 归一化参数:使用CIFAR-10统计均值/方差,而非ImageNet

2026-02-16

使用BEiT模型进行CIFAR-100图像分类:迁移学习实战指南

本文介绍了如何利用微软提出的BEiT-base模型在CIFAR-100数据集上实现高精度图像分类。BEiT采用掩码图像建模(MIM)预训练策略,通过12层Transformer编码器提取视觉特征。针对CIFAR-100的32×32小图像特点,设计了包括上采样、强数据增强等预处理策略,并采用分层学习率优化(5e-5/1e-3)和标签平滑技术。实验在NVIDIA A10 GPU上训练10个epoch,最终达到93.61%的测试准确率,其中对bee、butterfly等类别识别率超过99%,而树木类等细粒度分类表

2026-02-15

基于 ResNet-50 的 CIFAR-10 图像分类实战:从 85% 到 96.44% 的优化之旅

使用预训练ResNet-50模型在CIFAR-10数据集上实现96.44%测试准确率的方法。通过组合迁移学习、数据增强、标签平滑、AdamW优化器和余弦退火学习率调度等技术,在30个epoch内将模型性能从85.58%显著提升。实验详细记录了训练过程,分析了各类别的识别效果,发现猫和狗是最具挑战性的类别。文章还总结了有效的优化策略和避免的陷阱,并提供了快速复现指南。该方法展示了现代深度学习工程的最佳实践,其稳定可控的训练过程和接近人类水平的性能表现,验证了这些技术的可靠性与实用性。

2026-02-14

Vision Transformer (ViT) PyTorch 实现与 CIFAR-10 图像分类任务

描述: 这是一个基于 PyTorch 从零实现的 Vision Transformer (ViT) 深度学习模型,专为 CIFAR-10 图像分类任务设计。项目代码结构清晰、注释详尽,非常适合作为学习 Transformer 在计算机视觉中应用的入门教程。 技术栈: 深度学习框架:PyTorch 数据集:CIFAR-10(自动下载) 核心依赖:torch, torchvision, numpy, tqdm 内容说明: main.py:完整的 ViT 实现,包含以下核心模块: PatchExtractor:将输入图像分割为 16×16 (可配置)的图像块(patches) InputEmbedding:实现线性投影、可学习的 [CLS] Token 和位置编码(Positional Embedding) EncoderBlock:标准的 Transformer Encoder,包含多头自注意力(Multi-Head Attention)、层归一化(LayerNorm)、残差连接和前馈网络(MLP with GELU) ViT:组装完整的 Vision Transformer 架构,支持自定义编码器层数、潜在维度、注意力头数等 TrainEval:完整的训练与验证流程,支持早停和最佳模型保存 README.md:详细的使用说明和命令行参数文档 功能特性: 模块化设计:各组件(Patch提取、Embedding、Encoder)独立封装,便于理解和修改 高度可配置:通过命令行参数可调整 patch 大小、潜在维度、编码器层数、注意力头数、学习率等超参数 GPU 加速:自动检测并支持 CUDA 训练

2026-01-30

基于Inception-V3实现cifar-10数据集的分类任务

本资源介绍了Google Brain团队提出的Inception-V3深度卷积神经网络架构及其在CIFAR-10数据集上的应用实现。Inception-V3通过多尺度特征提取优化(如非对称卷积分解)和训练稳定性优化(批量归一化、标签平滑等技术),在ImageNet上实现了5.6%的top-5错误率。文章详细阐述了模型架构、核心创新点和性能优势,并提供了完整的PyTorch实现代码,包括数据预处理、模型训练和评估过程。实验结果显示,该模型在CIFAR-10分类任务中达到了96.43%的测试准确率,验证了其在图像分类任务中的优异性能。

2026-01-12

《动手学深度学习》是一本面向实践的深度学习教材,旨在帮助读者通过亲手操作来深入理解和掌握深度学习的核心概念和技术 书中的内容涵盖了从基础知识到高级应用的广泛领域,是初学者和进阶者深入了解这一领域的宝贵

全书主要包括二十一个章节的内容,分别是: 一、引言 二、预备知识 三、线性神经网络处理回归任务 四、线性神经网络处理分类任务 五、多层感知机 六、构建网络模型 七、卷积神经网络 八、现代卷积神经网络 九、循环神经网络 十、现代循环神经网络 十一、注意力机制 十二、优化算法 十三、计算性能 十四、计算机视觉 十五、自然语言处理:预训练 十六、自然语言处理:应用 十七、强化学习 十八、高斯过程 十九、超参数优化 二十、生成式对抗网络 二十一、推荐系统

2025-09-02

Matlab与数学建模教程

包含以下几个部分: 1)MATLAB概述; 2)MATLAB运算基础; 3)MATLAB程序设计基础; 4) 字符串、元胞数组; 5)符号运算; 6)MATLAB绘图; 7)MATLAB与数学建模; 8)MATLAB绘制动态图

2025-06-26

MATLAB数据批量可视化

根据数据集属性特征,通过MATLAB编程实现数据批量可视化,并自动保存到对应的文件夹下,编写不同的函数来实现上述功能。

2025-04-22

python字符串相关操作实例代码及案例

1. 字符串的定义与特性 - 单引号、双引号、三引号 - 不可变性 2. 常用方法分类 a. 大小写转换 b. 查找与替换 c. 分割与连接 d. 去除空白 e. 判断内容 f. 格式化 g. 其他方法(统计、填充、对齐等) 每个类别下列举方法,说明功能,示例。比如: a. 大小写转换 - upper(): 转为大写 - lower(): 转为小写 - capitalize(): 首字母大写 - title(): 每个单词首字母大写 示例代码: s = "hello world" print(s.upper()) # "HELLO WORLD" 确保例子正确,比如capitalize()会把第一个字符大写,其余小写,所以"hello world".capitalize()会变成"Hello world"? 或者原字符串中有其他大写字母的话,capitalize()会把其余字母变为小写。比如"hElLo".capitalize()变成"Hello"? 需要确认这些方法的实际行为,避免给出错误示例。 比如测试一下: s = "hEllO" s.capitalize() → "Hello" s.title() → "Hello" 比如多个单词的话,每个单词的首字母大写:"hello world".title() → "Hello World"

2025-04-03

基于偏微分方程的图像复原

数字图像修复指的是根据图像的已知区域信息来恢复其丢失或损坏的区域。图像修复技术可分为两大类:以图像平滑性为先验约束的基于扩散的图像修复方法和以图像自相似性为先验约束的基于纹理合成的图像修复方法。基于扩散的修复方法通过建立和求解偏微分方程对图像进行修复,其中被研究得最多的是 BSCB 模型和 TV 模型,本项目主要分析了BSCB模型的原理,并对修复效果做了仿真实验。

2025-03-29

MATLAB常见绘图示例,二维,三维,柱状图,动态图

code.txt内部包含了很多绘图的实例,包括二维绘图,以及常见的标题,图例,坐标轴刻度,字体大小设计如何实现,三维绘图,以及复杂条形图,动态图的生成。

2025-03-20

页岩油四性潜力层判识工具

基于Python的页岩油四性潜力层判识工具的研发和应用,推动了页岩油相关技术的创新和发展,为页岩油相关的数据处理、甜点识别提供了更加系统科学的指导。通过该系统结合页岩油四性测井及录井数据,对页岩油进行分级评价,结合resform导出的页岩油相关属性数据,通过python对数据进行分析处理,判识出页岩油的四性潜力层甜点,并将最终处理的结果导入到resform中,resform是一款地质研究工作软件,具有单井图、对比图、平面图以及综合图表的编绘能力。基于python的页岩油四性潜力层判识工具,能够更加精准地判识各个井位页岩油潜力层的分布情况,如图2所示,其中含油性潜力层、储集性潜力层、可动性潜力层、可压性潜力层为利用python语言编程,并结合四性潜力层分级评价标准判识出的结果,结合层次分析法,对四性潜力层权重进行分析,最终划分出综合潜力层,极大地提高了页岩油勘探开发人员的工作效率。

2024-12-25

pytorch深度学习资料

有关pytorch深度学习的一些资料,介绍了numpy,pandas,torch相关库的使用,误差反向传播机制,梯度下降,数据集的加载与变换,卷积神经网络,循环神经网络,有需要的话自行下载即可。

2024-06-10

潜力层判识python实现

通过python编程根据潜力层判识标准,自动划分潜力层

2024-05-27

matlab+动态爱心

matlab生成爱心代码,可以将名字修改一下,发给自己喜欢的人

2024-05-19

matlab-code

这里边有我积累的一些常用的matlab代码

2024-04-23

数据预处理-随机森林填充

采用随机森林的方法来对缺失值进行填充

2024-04-23

泛函分析是数学中的一个分支领域,研究的是无限维空间上的函数和它们的性质 它结合了线性代数、实变函数论和拓扑学的概念与方法

在泛函分析中,研究的对象通常是向量空间上的函数或者操作符(或称为泛函),而不再局限于实数或复数上的有限维向量。常见的研究对象包括无穷序列、函数空间、算子等。泛函分析主要关注以下几个主题: 线性空间和拓扑结构:泛函分析考虑的空间往往是无穷维的,因此需要引入合适的拓扑结构,如度量、拓扑和赋范等概念。这些结构可以描述空间中的收敛性、连续性和紧致性等性质。 范数和内积:泛函分析中常常考虑具有范数或内积的线性空间,这些结构允许量化向量之间的距离或角度。范数引入了向量的长度概念,内积则引入了向量之间的夹角和正交性概念。 连续性和收敛性:泛函分析研究函数序列或算子序列的极限性质,如点态收敛、均匀收敛和弱收敛等。这方面的研究有助于揭示函数空间中的内在结构和重要特性。 函数空间和算子理论:泛函分析广泛应用于函数空间和算子的研究。函数空间是一类函数的集合,常见的如Lebesgue空间和Sobolev空间,它们具有重要的数学和物理背景。算子理论研究线性算子和它们的性质,如线性算子的谱理论和算子方程等。 泛函分析在数学和应用数学中具有广泛的应用,如在微分方程、泛函微分方程、量子力学和信号处理等领域。

2023-10-04

数学建模与matlab

这本书介绍了数学建模中常用的一些算法,书中有对应的matlab代码,供大家学习,感谢大家支持!

2023-10-04

粒子群算法优化bp神经网络

本问用采用粒子群算法优化bp神经网络,采用matlab编程。给出了优化之后的效果图。

2023-03-24

粒子群算法优化灰色预测模型(matlab实现)

采用粒子群算法优化GM(1,1)灰色预测模型,给出了预测结果。

2023-03-24

粒子群算法优化最小二乘支持向量

采用粒子群算法优化最小二乘支持向量

2023-03-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除