- 博客(102)
- 收藏
- 关注
RSS订阅原创 CS231N-Lecture 2: Regularization and Optimization
摘要：本课程深入讲解了深度学习中正则化与优化的核心概念。首先回顾了图像分类任务和线性分类器的基本原理，包括K近邻分类器和线性分类器的不同视角理解。然后详细介绍了Softmax损失函数及其交叉熵损失计算。重点讨论了正则化技术（L1/L2）的原理、作用及实现方法，通过对比分析展示了不同正则化的特性。最后系统讲解了优化算法，包括梯度下降的基本原理、数值与解析梯度计算方法，以及随机梯度下降（SGD）的实现。课程通过理论讲解与代码示例相结合的方式，帮助学习者掌握深度学习模型训练中的关键技术与方法。
2026-01-30 10:51:59
12
原创 门控模型与Mixture of Experts (MOE) 学习笔记
本文系统介绍了门控机制与混合专家(MOE)模型的核心原理与实践。首先从门控机制的基础概念入手，分析了软门控、硬门控和条件门控三种类型的数学本质与应用场景。然后深入探讨MOE架构，包括专家网络和门控网络的设计原理，重点阐述了稀疏激活、专业化分工等核心优势。文章还提供了经典MOE架构的演进历程，以及PyTorch实现的关键技术点，特别针对ODE+MLP门控融合场景给出了具体建议。最后总结了工程实践中的训练技巧和性能优化方法，为深度学习中的动态路由和高效计算提供了系统指导。
2026-01-29 22:31:43
275
原创 CALPHAD方法
CALPHAD方法是一种基于热力学原理的相图计算技术，通过吉布斯自由能最小化确定材料在给定条件下的平衡状态。其核心思想是利用吉布斯自由能判据（G=H-TS）计算相稳定性，结合热力学数据库中的参数（如参考态能量、相互作用参数等）构建各相的吉布斯能模型。计算过程包括成分转换、吉布斯能计算（含理想混合熵和超额项）和多相平衡求解（化学势相等）。手工计算示例展示了Fe-C二元合金在1000°C时的相平衡分析，而实际应用中可通过pycalphad工具（需安装TDB数据库）实现自动化计算。该方法广泛应用于材料设计与相变预
2026-01-29 19:34:10
231
原创 CS231N-Lecture 2: Image Classification & Linear Classifiers
本课程第二讲主要介绍了图像分类任务及核心算法。内容涵盖图像分类的定义与挑战（视角变化、光照变化等）、数据驱动方法的三步流程，以及K近邻算法（KNN）的原理与实现，包括L1/L2距离度量、K值选择和优缺点分析。实验显示KNN在CIFAR-10数据集上准确率仅29%，表明基于像素距离的方法难以捕捉语义相似性。课程还介绍了超参数调优策略，为后续线性分类器等内容奠定基础。核心目标是帮助学生掌握图像分类的基本概念和算法原理。
2026-01-29 12:10:03
734
原创 Fluent 水密工作流：Generate Volume Mesh 学习笔记
本文详细介绍了Fluent水密工作流中体网格生成的关键技术与操作流程。主要内容包括：1) 体网格生成的核心作用及其在CFD计算中的重要性；2) Fluent Meshing支持的多种网格类型（Poly-Hexcore、四面体、多面体等）及其适用场景；3) 完整的操作流程步骤和参数设置方法；4) 网格质量评估标准与优化技巧。重点推荐使用Poly-Hexcore混合网格，在保证计算精度的同时显著减少单元数量。文章还提供了常见问题解决方案和实战案例分析，帮助用户掌握从几何导入到体网格生成的完整工作流程。
2026-01-29 10:45:15
497
原创 Python Excel 操作学习笔记：openpyxl vs pandas
本文对比了Python操作Excel的两大主流库openpyxl和pandas。openpyxl专注于Excel文件操作，适合精细控制格式、单元格操作和报表生成；pandas则擅长数据分析，适合批量数据处理和统计分析。文章详细介绍了两个库的安装方法、核心概念差异、基本操作（读取/写入/修改Excel）、格式化设置以及性能优化建议。实际应用中可根据需求选择：需要保留格式时用openpyxl，处理大量数据时用pandas，两者也可结合使用以获得最佳效果。文中包含大量代码示例，帮助读者快速掌握Excel自动化处理
2026-01-28 09:01:42
453
原创 Fluent 水密工作流：Generate Surface Mesh 学习笔记
Fluent 水密工作流：Generate Surface Mesh 学习笔记摘要 核心内容： 水密工作流通过自动修复几何缺陷（间隙、重叠等）简化CFD前处理流程，相比传统方法可减少50%-70%时间 Generate Surface Mesh是关键步骤，负责生成二维表面三角网格并为体网格奠定基础 主要参数包括：Min/Max Size（建议设为最小特征的1/3和总长1/10）、Growth Rate（1.1-1.3）、Curvature Normal Angle（减小可提高曲面精度） Fill Holes
2026-01-27 14:59:53
746
原创 Fluent 水密工作流：Describe Geometry学习笔记
Fluent 水密工作流：Describe Geometry学习笔记摘要 核心要点 Describe Geometry是Fluent Meshing水密工作流中的关键步骤，主要用于： 识别流体域与固体域 - 区分需要生成体网格的区域 建立物理模型 - 为CAD几何赋予流动分析所需的物理意义 创建命名域 - 便于后续边界条件设置 主要功能 自动/手动识别流体流动空间(流体域) 标记固体材料区域(固体域) 处理多零件装配体的拓扑关系 创建边界条件所需的命名面域(Face Zones) 为共轭传热分析识别流体-固
2026-01-27 14:58:02
589
原创 Fluent Meshing 水密工作流程: Add Local Sizing 指南
Fluent Meshing 水密工作流程: Add Local Sizing 指南 摘要 本文详细介绍了 ANSYS Fluent Meshing 水密工作流程中的局部网格控制(Add Local Sizing)功能。主要内容包括： 核心概念：Local Sizing 是针对特定几何实体(面/边/体)的局部网格尺寸约束，优先级高于全局设置。 操作流程： 几何选择(直接选取/命名选择集) 设置关键参数(Min Size/Max Size/Growth Rate) 可选BOI影响范围控制 预览确认 参数详解：
2026-01-27 14:55:27
718
原创 Fluent 水密工作流：Add Boundary Layers 学习笔记
本文系统介绍了Fluent水密工作流中边界层网格的设置方法。主要内容包括：边界层网格的物理意义（捕捉壁面附近陡峭梯度）、y+参数的定义与计算（y+ = (y·u_τ)/ν）、边界层分类（层流/湍流）及其适用场景。重点讲解了Add Boundary Layers操作流程，包括参数设置（首层厚度、增长率、层数）与质量控制方法。文章还分析了边界层在不同湍流模型中的要求，并提供了常见问题的解决方案。通过对比加/不加边界层网格的效果，展示了边界层网格对计算精度（误差<5%）和收敛速度（提升3-5倍）的显著改善。
2026-01-27 14:52:20
1340
原创 Fluent 水密工作流：Update Boundaries 学习笔记
类型英文用途典型设置进口速度已知速度大小、方向进口质量流量已知质量流率进口压力已知总压、静压出口压力出口静压出口outflow自由出流流量完全发展壁面wall固体边界无滑移/滑移Update Boundaries 是"精细化"网格设置的关键步骤✅ 确保边界条件正确无误✅ 提高模型可读性和可维护性✅ 简化求解器设置流程✅ 支持参数化和自动化研究核心理念边界条件设置占计算错误的 50% 以上。花时间在 Update Boundaries，节省时间在调试。
2026-01-27 11:04:02
1022
原创 Spring Event 学习笔记
┌─────────────┐ 发布 ┌──────────────────┐│ 发布者 │ ───────────────> │ ApplicationEvent ││ Publisher │ │ (事件对象) │││ 传播↓│ (事件多播器) ││↓ ↓ ↓│ 监听器 A │ │ 监听器 B │ │ 监听器 C │// Getters默认情况下，@Async使用（每次创建新线程，性能差）。推荐配置自定义线程池// 核心线程数。
2026-01-26 23:23:31
871
原创 Python 高效并行计算
1.2 并行 vs 并发 vs 分布式概念定义实现方式适用场景并发 (Concurrency)多个任务交替执行，看起来同时进行单核CPU时间片轮转IO密集型（网络请求、文件读写）并行 (Parallelism)多个任务真正同时执行多核CPU同时运行CPU密集型（数值计算、图像处理）分布式 (Distributed)多台机器协同计算网络通信超大规模计算（大数据、深度学习）形象比喻：GIL (Global Interpreter Lock) 是 CP
2026-01-13 20:49:55
1507
原创 pycalphad 学习笔记
pycalphad是一个用于计算热力学的免费开源 Python 库，使用 CALPHAD 方法设计热力学模型、计算相图和研究相平衡。binplot(db,phases,},# 自定义样式plt.show()pycalphad 的核心优势是运行时可定制模型。"""自定义模型：添加非理想混合项"""# 声明模型的组成部分('custom_excess', 'custom_excess_energy') # 新增"""自定义过剩吉布斯能"""
2026-01-13 18:55:25
1069
原创 OpenCalphad 学习笔记
CALPHADCALPHAseDiagrams（相图计算）这是一种基于热力学原理，通过建立数学模型来预测多组分体系相平衡和相图的方法。是一个由全球科学家和研究者组成的非正式国际协作项目，致力于开发免费、高质量的热力学计算软件和数据库，适用于各类应用场景。
2026-01-13 18:54:24
818
原创 PyTorch Lightning
PyTorch Lightning 是一个轻量级的 PyTorch 封装框架，旨在组织 PyTorch 代码，使研究代码更具可读性和可复现性。它将研究代码从工程代码中分离，让你专注于模型开发。自动化训练流程（梯度计算、优化器步骤、日志记录等）代码组织结构化，易于维护和复用支持多 GPU、TPU 等分布式训练内置丰富的回调和日志系统使用# 保存验证损失最好的前 3 个模型dirpath='my/path/', # 保存目录。
2026-01-13 18:53:53
908
原创 PyTorch Lightning
PyTorch Lightning 是一个轻量级的 PyTorch 封装框架，旨在组织 PyTorch 代码，使研究代码更具可读性和可复现性。它将研究代码从工程代码中分离，让你专注于模型开发。自动化训练流程（梯度计算、优化器步骤、日志记录等）代码组织结构化，易于维护和复用支持多 GPU、TPU 等分布式训练内置丰富的回调和日志系统使用# 保存验证损失最好的前 3 个模型dirpath='my/path/', # 保存目录。
2026-01-12 19:18:36
765
原创 深度学习中的 tmux
tmux 插件本质是 shell 脚本，可以扩展 tmux 功能。示例：自定义 GPU 监控插件# 创建插件目录 mkdir -p ~/.tmux/plugins/tmux-gpu-monitor # 创建插件脚本 cat > ~/.tmux/plugins/tmux-gpu-monitor/gpu-monitor.sh << 'EOF'/bin/bash# GPU 监控插件。
2026-01-11 07:14:24
1289
原创 Linux系统管理指南
是一个交互式脚本，会自动为你创建家目录、设置 Shell 并引导你设置密码。这样，除了该用户本人和 root，任何人都无法进入或查看该目录下的文件。如果你使用的是 CentOS、RHEL 或习惯使用底层工具，可以使用。在 Linux 系统中创建一个新用户并确保其拥有独立的。默认情况下它可能不会创建家目录，所以需要带上参数。通常有两种主要方法：使用友好的 adduser。目录和运行环境是一个非常标准的操作。查看是否有独立的配置文件（如。），确保环境独立且立即可用。默认情况下，有些系统的。替换为你想要的名字）
2026-01-11 07:13:34
720
原创 TabNet 流程图集合（Mermaid）
您可以修改颜色：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;节点节点#4caf50（成功/推荐）#2196f3（信息/次要）#ffeb3b（警告/重要）#ff9800（注意）#f44336（错误/停止）流程图编号名称用途1整体架构理解 TabNet 全局结构2决策步骤深入单步处理流程3注意力变换器。
2026-01-08 16:15:05
631
原创 TabNet: 注意力驱动的可解释表格学习架构
数据集类型TabNet 优势最佳竞争者提升幅度小数据 + 稀疏特征✓✓✓持平或略优中等数据 + 复杂决策边界✓✓✓✓显著优于大数据✓✓略优或持平不平衡数据✓✓✓✓Trees显著优于TabNet 的核心贡献✅ 首个成功的深度表格学习架构✅ 内生可解释性（通过注意力掩码）✅ 实例级特征选择（灵活的决策逻辑）✅ 自监督预训练（提升小样本性能）✅ 在多个数据集上超越树模型适用场景中大型数据集（>10k）需要可解释性的应用有无标签数据可利用端到端深度学习系统。
2026-01-08 16:14:07
1067
原创 Transformer 位置编码指南
按编码方式固定编码（Fixed）：使用数学函数生成，不需要训练（如 Sinusoidal PE、ALiBi）可学习编码（Learned）：作为参数随模型训练（如 BERT、GPT）按位置表示绝对位置编码：直接编码每个 token 的绝对位置（位置 0, 1, 2, …）相对位置编码：编码 token 之间的相对距离（如 i - j）按注入方式输入层注入：在 Embedding 后直接相加（如 Sinusoidal、Learned）注意力层注入。
2026-01-07 19:16:34
1079
原创 x-transformers 完整学习笔记
研究友好：快速实验新想法生产就绪：代码质量高，性能优化充分持续更新：及时跟进学术界最新进展方向：结构化注意力、稀疏注意力实现：修改Attention类# 自定义注意力逻辑passx-transformers 是什么灵活、高效的 Transformer 实现库快速集成最新研究成果研究友好 + 生产级代码质量何时使用✅ 自定义模型架构✅ 快速实验新想法✅ 需要灵活的注意力机制❌ 直接使用预训练模型（用 Hugging Face）关键组件Encoder：双向理解。
2026-01-07 18:30:00
786
原创 Neural ODE 正向传播与反向传播算法
给定初始状态h0h0，Neural ODE 通过求解初值问题 (Initial Value Problem, IVP) 来计算输出状态hThTdhtdtfhttθh0h0(初始条件)\mathbf{h}(0) = \mathbf{h}_0 \quad \text{(初始条件)}dtdhtfhttθh0h0初始条件hTODESolveh0f0TθhTODESolveh0f0Tθf。
2026-01-07 15:43:31
780
原创 高频数据与低频数据
高频数据（High-Frequency Data）是指在较短时间间隔时间间隔小：秒级、毫秒级、微秒级数据量大：单位时间内记录数多细粒度信息：能捕捉瞬时变化和异常事件股票交易的tick数据（每笔成交记录）传感器每秒100次的采样网络流量每毫秒的数据包记录低频数据（Low-Frequency Data）是指在较长时间间隔时间间隔大：小时级、日级、周级、月级数据量小：经过聚合或定期采样宏观趋势：适合长期趋势分析每日股票收盘价月度GDP数据年度人口普查数据高频数据。
2026-01-06 15:44:52
1472
原创 Spring Cache + Redis 声明式缓存指南
/ 格式：类名:方法名:参数1_参数2 return target . getClass() . getSimpleName() + ":" + method . getName() + ":" + Arrays . toString(params) . replaceAll("[\\[\\]\\s]" , "");} }
2026-01-05 23:17:01
801
原创 Dropout 学习笔记
Dropout是一种正则化技术，在训练时以概率ppp随机丢弃训练阶段：每个神经元以概率ppp被"关闭"（输出置为 0）推理阶段：所有神经元都参与计算，但输出需要乘以1−p(1-p)1−p进行缩放定义与作用Dropout 是一种正则化技术，通过随机丢弃神经元防止过拟合训练时随机丢弃，推理时使用完整网络并缩放数学原理标准 Dropout：训练时丢弃，推理时缩放Inverted Dropout：训练时缩放，推理时无需修改（现代框架默认）实现要点使用和切换模式。
2026-01-03 00:14:25
1146
原创 Spring Data Redis + Redisson 学习笔记
适合基础操作和缓存Redisson适合分布式锁和高级功能结合使用可发挥各自优势缓存穿透/击穿/雪崩是必须防范的问题分布式锁必须设置超时时间并正确释放性能优化关注 Pipeline、Lua 脚本、连接池。
2026-01-02 23:37:46
1148
原创 TabPFN 学习笔记
金融风控（信用评分、欺诈检测）医疗诊断（疾病预测、患者分类）推荐系统（用户画像、CTR预估）工业质检（设备故障预测）挑战具体问题模型选择困难XGBoost、LightGBM、神经网络等众多选择，需要大量实验超参数调优耗时网格搜索、贝叶斯优化等过程复杂且计算密集小样本性能差传统方法在数据量较小时容易过拟合特征工程依赖需要领域知识进行特征选择和构造训练时间长对于复杂模型，训练可能需要数小时甚至数天适合 TabPFN 的场景✅ 小样本分类任务（100-10,000样本）✅ 需要快速原型验证。
2025-12-30 08:34:10
1054
1
原创 信号与图像平滑算法指南
平滑（Smoothing） 是一种信号处理技术，通过降低数据的高频成分来减少噪声，使数据趋势更清晰。本质上是一种低通滤波过程。核心思想：⚠️ 平滑不是免费的，存在以下权衡：时域：信号随时间的变化（x轴=时间，y轴=幅值）频域：信号的频率成分（x轴=频率，y轴=幅度）低通滤波原理平滑后信号=原始信号∗低通滤波器\text{平滑后信号} = \text{原始信号} * \text{低通滤波器}平滑后信号=原始信号∗低通滤波器其中 表示卷积运算。对每个数据点，用窗口内所有点的平均值替代：y[i]
2025-12-30 08:33:12
600
原创 PyTorch Lightning 中 TorchMetrics
需要计算调整 R²（Adjusted R²）"""调整 R² 分数公式：Adjusted R² = 1 - (1 - R²) * (n - 1) / (n - p - 1)其中 n 是样本数，p 是特征数"""# 定义状态变量"""每个 batch 调用，累积状态"""# 残差平方和# 总平方和# 样本数"""Epoch 结束时调用，计算最终值"""# 计算 R²# 计算调整 R²# 使用示例。
2025-12-29 11:40:28
840
原创 迁移学习与对抗迁移学习
迁移学习的本质：利用源域知识解决目标域问题，突破 i.i.d. 假设限制对抗迁移学习的优势✅ 显式对齐域分布✅ 无监督/半监督场景✅ 理论基础扎实实践建议先尝试简单方法（微调、CORAL）根据域差异选择方法注意超参数调优（λ 调度最关键）未来方向大模型时代的域适应多模态迁移学习高效域适应（少样本、轻量化）
2025-12-27 18:56:35
1177
原创 贝叶斯优化与高斯过程回归
高斯过程是一个随机过程，其任意有限个随机变量的联合分布都是多元高斯分布。fx∼GPmxkxx′fx∼GPmxkxx′))mxmx均值函数，通常设为 0kxx′kxx′核函数（协方差函数），定义点之间的相似性高斯过程回归非参数贝叶斯方法，直接建模函数分布提供预测均值和不确定性核函数定义函数的先验性质贝叶斯优化用 GP 作为代理模型，指导采样策略采集函数平衡探索和利用样本高效，适用于昂贵黑盒优化应用原则。
2025-12-26 21:07:45
1204
原创 PyTorch 学习率调度器曲线可视化指南
核心问题：可视化的价值：基本概念：2.2 常见调度策略分类3. Scheduler 详解与曲线分析3.1 StepLR - 阶梯式衰减数学公式lr(t)=lrinitial×γ⌊t/step_size⌋\text{lr}(t) = \text{lr}_{\text{initial}} \times \gamma^{\lfloor t / \text{step\_size} \rfloor}lr(t)=lrinitial×γ⌊t/step_size⌋参数说明：曲线特征lr(t)=lr
2025-12-26 11:01:36
806
原创 PyTorch Tabular 学习笔记
PyTorch Tabular 是一个基于 PyTorch Lightning 的库，专为表格/结构化数据的深度学习而设计，提供标准化的接口和多种最先进的模型。│ PyTorch Tabular 生态系统 ││ 数据层: DataConfig, TabularDatamodule ││ 模型层: CategoryEmbedding, TabNet... ││ 训练层: TabularModel (PyTorch Lightning)│。
2025-12-26 11:00:55
1133
原创 PyTorch Optimizer 与 Scheduler 指南
Optimizer（优化器）是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式（简化版）：其中：- θ: 模型参数- lr: 学习率- gradient: 梯度（损失函数对参数的偏导数）常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler（学习率调度器）是动态调整 Optimizer 学习率的策略。
2025-12-24 10:05:04
804
原创 PyTorch Optimizer 与 Scheduler 指南
Optimizer（优化器）是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式（简化版）：其中：- θ: 模型参数- lr: 学习率- gradient: 梯度（损失函数对参数的偏导数）常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler（学习率调度器）是动态调整 Optimizer 学习率的策略。
2025-12-24 09:57:23
640
原创 Python Hook
Hook（钩子）是一种编程机制，允许你在特定事件发生时自动执行自定义代码，而无需修改原始代码逻辑。形象比喻想象一个流水线：原始流程: A → B → C → D添加 Hook:↑ ↑在 B 后执行 在 C 后执行定义：Hook 是一个函数或对象，在程序执行的特定点被自动调用。核心要素触发时机：何时调用 Hook（事件）Hook 函数：执行什么操作上下文信息：Hook 能访问哪些数据返回值处理：Hook 的返回值如何影响后续流程Hook 类型作用对象主要用途监控梯度nn.Module。
2025-12-24 09:09:30
1187
原创 PyTorch Lightning Callback 指南
定义：Callback 是一个可以在训练循环的特定阶段被调用的对象，用于执行自定义操作。核心特点继承自基类通过重写钩子方法（hook methods）来插入自定义逻辑在Trainer的特定时刻自动被调用# 获取父类的指标# 自定义显示格式（如显示更多小数位）items = {k: f"
2025-12-24 08:58:04
985
原创 TensorBoard 与 WandB 在 PyTorch Lightning 中的完整指南
定义：TensorFlow 官方开发的可视化工具，但完全支持 PyTorch。核心特点✅本地运行：无需联网，数据完全私有✅轻量级：无额外依赖，启动快速✅标准化：工业界广泛使用❌功能有限：缺乏实验管理、超参数扫描等高级功能❌团队协作弱：需要手动共享日志文件适用场景个人学习与小型项目对数据隐私有严格要求快速调试与可视化loss = ...# 仅记录到 TensorBoard# 仅记录到 WandB# 假设有预测概率和标签# 创建 matplotlib 图表。
2025-12-24 08:53:40
986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人