其美杰布-富贵-李-CSDN博客

原创 TabNet 流程图集合（Mermaid）

您可以修改颜色：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;节点节点#4caf50（成功/推荐）#2196f3（信息/次要）#ffeb3b（警告/重要）#ff9800（注意）#f44336（错误/停止）流程图编号名称用途1整体架构理解 TabNet 全局结构2决策步骤深入单步处理流程3注意力变换器。

2026-01-08 16:15:05 341

原创 TabNet: 注意力驱动的可解释表格学习架构

数据集类型TabNet 优势最佳竞争者提升幅度小数据 + 稀疏特征✓✓✓持平或略优中等数据 + 复杂决策边界✓✓✓✓显著优于大数据✓✓略优或持平不平衡数据✓✓✓✓Trees显著优于TabNet 的核心贡献✅ 首个成功的深度表格学习架构✅ 内生可解释性（通过注意力掩码）✅ 实例级特征选择（灵活的决策逻辑）✅ 自监督预训练（提升小样本性能）✅ 在多个数据集上超越树模型适用场景中大型数据集（>10k）需要可解释性的应用有无标签数据可利用端到端深度学习系统。

2026-01-08 16:14:07 604

原创 Transformer 位置编码指南

按编码方式固定编码（Fixed）：使用数学函数生成，不需要训练（如 Sinusoidal PE、ALiBi）可学习编码（Learned）：作为参数随模型训练（如 BERT、GPT）按位置表示绝对位置编码：直接编码每个 token 的绝对位置（位置 0, 1, 2, …）相对位置编码：编码 token 之间的相对距离（如 i - j）按注入方式输入层注入：在 Embedding 后直接相加（如 Sinusoidal、Learned）注意力层注入。

2026-01-07 19:16:34 686

原创 x-transformers 完整学习笔记

研究友好：快速实验新想法生产就绪：代码质量高，性能优化充分持续更新：及时跟进学术界最新进展方向：结构化注意力、稀疏注意力实现：修改Attention类# 自定义注意力逻辑passx-transformers 是什么灵活、高效的 Transformer 实现库快速集成最新研究成果研究友好 + 生产级代码质量何时使用✅ 自定义模型架构✅ 快速实验新想法✅ 需要灵活的注意力机制❌ 直接使用预训练模型（用 Hugging Face）关键组件Encoder：双向理解。

2026-01-07 18:30:00 493

原创 Neural ODE 正向传播与反向传播算法

给定初始状态h0h0，Neural ODE 通过求解初值问题 (Initial Value Problem, IVP) 来计算输出状态hThTdhtdtfhttθh0h0(初始条件)\mathbf{h}(0) = \mathbf{h}_0 \quad \text{(初始条件)}dtdhtfhttθh0h0初始条件hTODESolveh0f0TθhTODESolveh0f0Tθf。

2026-01-07 15:43:31 401

原创高频数据与低频数据

高频数据（High-Frequency Data）是指在较短时间间隔时间间隔小：秒级、毫秒级、微秒级数据量大：单位时间内记录数多细粒度信息：能捕捉瞬时变化和异常事件股票交易的tick数据（每笔成交记录）传感器每秒100次的采样网络流量每毫秒的数据包记录低频数据（Low-Frequency Data）是指在较长时间间隔时间间隔大：小时级、日级、周级、月级数据量小：经过聚合或定期采样宏观趋势：适合长期趋势分析每日股票收盘价月度GDP数据年度人口普查数据高频数据。

2026-01-06 15:44:52 1008

原创 Spring Cache + Redis 声明式缓存指南

/ 格式：类名:方法名:参数1_参数2 return target . getClass() . getSimpleName() + ":" + method . getName() + ":" + Arrays . toString(params) . replaceAll("[\\[\\]\\s]" , "");} }

2026-01-05 23:17:01 727

原创 Dropout 学习笔记

Dropout是一种正则化技术，在训练时以概率ppp随机丢弃训练阶段：每个神经元以概率ppp被"关闭"（输出置为 0）推理阶段：所有神经元都参与计算，但输出需要乘以1−p(1-p)1−p进行缩放定义与作用Dropout 是一种正则化技术，通过随机丢弃神经元防止过拟合训练时随机丢弃，推理时使用完整网络并缩放数学原理标准 Dropout：训练时丢弃，推理时缩放Inverted Dropout：训练时缩放，推理时无需修改（现代框架默认）实现要点使用和切换模式。

2026-01-03 00:14:25 1022

原创 Spring Data Redis + Redisson 学习笔记

适合基础操作和缓存Redisson适合分布式锁和高级功能结合使用可发挥各自优势缓存穿透/击穿/雪崩是必须防范的问题分布式锁必须设置超时时间并正确释放性能优化关注 Pipeline、Lua 脚本、连接池。

2026-01-02 23:37:46 1107

原创 TabPFN 学习笔记

金融风控（信用评分、欺诈检测）医疗诊断（疾病预测、患者分类）推荐系统（用户画像、CTR预估）工业质检（设备故障预测）挑战具体问题模型选择困难XGBoost、LightGBM、神经网络等众多选择，需要大量实验超参数调优耗时网格搜索、贝叶斯优化等过程复杂且计算密集小样本性能差传统方法在数据量较小时容易过拟合特征工程依赖需要领域知识进行特征选择和构造训练时间长对于复杂模型，训练可能需要数小时甚至数天适合 TabPFN 的场景✅ 小样本分类任务（100-10,000样本）✅ 需要快速原型验证。

2025-12-30 08:34:10 937 1

原创信号与图像平滑算法指南

平滑（Smoothing）是一种信号处理技术，通过降低数据的高频成分来减少噪声，使数据趋势更清晰。本质上是一种低通滤波过程。核心思想：⚠️ 平滑不是免费的，存在以下权衡：时域：信号随时间的变化（x轴=时间，y轴=幅值）频域：信号的频率成分（x轴=频率，y轴=幅度）低通滤波原理平滑后信号=原始信号∗低通滤波器\text{平滑后信号} = \text{原始信号} * \text{低通滤波器}平滑后信号=原始信号∗低通滤波器其中表示卷积运算。对每个数据点，用窗口内所有点的平均值替代：y[i]

2025-12-30 08:33:12 566

原创 PyTorch Lightning 中 TorchMetrics

需要计算调整 R²（Adjusted R²）"""调整 R² 分数公式：Adjusted R² = 1 - (1 - R²) * (n - 1) / (n - p - 1)其中 n 是样本数，p 是特征数"""# 定义状态变量"""每个 batch 调用，累积状态"""# 残差平方和# 总平方和# 样本数"""Epoch 结束时调用，计算最终值"""# 计算 R²# 计算调整 R²# 使用示例。

2025-12-29 11:40:28 797

原创迁移学习与对抗迁移学习

迁移学习的本质：利用源域知识解决目标域问题，突破 i.i.d. 假设限制对抗迁移学习的优势✅ 显式对齐域分布✅ 无监督/半监督场景✅ 理论基础扎实实践建议先尝试简单方法（微调、CORAL）根据域差异选择方法注意超参数调优（λ 调度最关键）未来方向大模型时代的域适应多模态迁移学习高效域适应（少样本、轻量化）

2025-12-27 18:56:35 1118

原创贝叶斯优化与高斯过程回归

高斯过程是一个随机过程，其任意有限个随机变量的联合分布都是多元高斯分布。fx∼GPmxkxx′fx∼GPmxkxx′))mxmx均值函数，通常设为 0kxx′kxx′核函数（协方差函数），定义点之间的相似性高斯过程回归非参数贝叶斯方法，直接建模函数分布提供预测均值和不确定性核函数定义函数的先验性质贝叶斯优化用 GP 作为代理模型，指导采样策略采集函数平衡探索和利用样本高效，适用于昂贵黑盒优化应用原则。

2025-12-26 21:07:45 1127

原创 PyTorch 学习率调度器曲线可视化指南

核心问题：可视化的价值：基本概念：2.2 常见调度策略分类3. Scheduler 详解与曲线分析3.1 StepLR - 阶梯式衰减数学公式lr(t)=lrinitial×γ⌊t/step_size⌋\text{lr}(t) = \text{lr}_{\text{initial}} \times \gamma^{\lfloor t / \text{step\_size} \rfloor}lr(t)=lrinitial×γ⌊t/step_size⌋参数说明：曲线特征lr(t)=lr

2025-12-26 11:01:36 785

原创 PyTorch Tabular 学习笔记

PyTorch Tabular 是一个基于 PyTorch Lightning 的库，专为表格/结构化数据的深度学习而设计，提供标准化的接口和多种最先进的模型。│ PyTorch Tabular 生态系统 ││ 数据层: DataConfig, TabularDatamodule ││ 模型层: CategoryEmbedding, TabNet... ││ 训练层: TabularModel (PyTorch Lightning)│。

2025-12-26 11:00:55 1081

原创 PyTorch Optimizer 与 Scheduler 指南

Optimizer（优化器）是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式（简化版）：其中：- θ: 模型参数- lr: 学习率- gradient: 梯度（损失函数对参数的偏导数）常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler（学习率调度器）是动态调整 Optimizer 学习率的策略。

2025-12-24 10:05:04 763

原创 PyTorch Optimizer 与 Scheduler 指南

Optimizer（优化器）是根据损失函数的梯度来更新模型参数的算法。核心任务参数更新公式（简化版）：其中：- θ: 模型参数- lr: 学习率- gradient: 梯度（损失函数对参数的偏导数）常见 OptimizerSGD: 随机梯度下降Adam: 自适应学习率优化器AdamW: 修正权重衰减的 AdamRMSprop: 自适应学习率方法Scheduler（学习率调度器）是动态调整 Optimizer 学习率的策略。

2025-12-24 09:57:23 624

原创 Python Hook

Hook（钩子）是一种编程机制，允许你在特定事件发生时自动执行自定义代码，而无需修改原始代码逻辑。形象比喻想象一个流水线：原始流程: A → B → C → D添加 Hook:↑ ↑在 B 后执行在 C 后执行定义：Hook 是一个函数或对象，在程序执行的特定点被自动调用。核心要素触发时机：何时调用 Hook（事件）Hook 函数：执行什么操作上下文信息：Hook 能访问哪些数据返回值处理：Hook 的返回值如何影响后续流程Hook 类型作用对象主要用途监控梯度nn.Module。

2025-12-24 09:09:30 1139

原创 PyTorch Lightning Callback 指南

定义：Callback 是一个可以在训练循环的特定阶段被调用的对象，用于执行自定义操作。核心特点继承自基类通过重写钩子方法（hook methods）来插入自定义逻辑在Trainer的特定时刻自动被调用# 获取父类的指标# 自定义显示格式（如显示更多小数位）items = {k: f"

2025-12-24 08:58:04 935

原创 TensorBoard 与 WandB 在 PyTorch Lightning 中的完整指南

定义：TensorFlow 官方开发的可视化工具，但完全支持 PyTorch。核心特点✅本地运行：无需联网，数据完全私有✅轻量级：无额外依赖，启动快速✅标准化：工业界广泛使用❌功能有限：缺乏实验管理、超参数扫描等高级功能❌团队协作弱：需要手动共享日志文件适用场景个人学习与小型项目对数据隐私有严格要求快速调试与可视化loss = ...# 仅记录到 TensorBoard# 仅记录到 WandB# 假设有预测概率和标签# 创建 matplotlib 图表。

2025-12-24 08:53:40 945

原创 Java (Spring Boot) 反射完整学习笔记

反射（Reflection）是 Java 提供的一种机制，允许程序在运行时检查类的结构（类名、父类、接口、字段、方法、构造器）创建对象实例访问和修改字段的值调用方法核心思想：将类的元数据（metadata）作为数据进行操作。@Target(ElementType.METHOD) // 作用于方法@Retention(RetentionPolicy.RUNTIME) // 运行时可获取// 注解参数需求：实现一个日志注解，自动记录方法的执行时间。需求。

2025-12-23 07:58:17 1123

原创 Python 反射完整学习笔记

反射（Reflection）是指程序在运行时检查（inspect）对象的类型、属性、方法访问（access）对象的属性和方法修改（modify）对象的属性和方法调用（invoke）对象的方法反射 = 运行时的动态操作能力反射是什么：运行时检查、访问、修改对象的能力核心函数getattrsetattrhasattrdelattrdirvars高级工具inspect模块、动态导入、type()创建类应用场景：插件系统、ORM、序列化、动态路由注意事项：性能开销、安全风险、避免滥用。

2025-12-23 07:56:37 912

原创深度学习训练框架选择完全指南

这个任务是标准任务还是创新研究？标准 → 优先高封装框架（fastai, HF）创新 → 优先灵活框架（Lightning, 纯PyTorch）团队技术背景如何？新手多 → fastai/Keras（降低门槛）专家多 → Lightning/纯PyTorch（发挥优势）项目生命周期多长？短期POC → fastai（快速验证）长期维护 → Lightning（可维护性）是否需要生产部署？是 → 考虑部署生态（TF Serving, TorchServe）否 → 关注开发效率。

2025-12-22 18:20:33 870

原创数据清理与特征工程完整指南

特征工程是利用领域知识和数据处理技术，从原始数据中提取或构造有用特征的过程。Andrew Ng：“应用机器学习基本上就是特征工程。特征工程的价值简单模型 + 好特征 > 复杂模型 + 差特征提高模型准确性、降低过拟合、加速训练工具库用途安装Pandas数据处理基础NumPy数值计算经典ML预处理自动特征工程高级类别编码不平衡数据处理Missingno缺失值可视化Optuna超参数优化数据质量验证数据清理和特征工程是机器学习成功的关键。本笔记涵盖了：✅数据清理：缺失值、异常值、重复数据、类型转换。

2025-12-22 07:00:26 656

原创过拟合与欠拟合

想象你在准备考试。有两种极端的学习方式：方式A（死记硬背）：你把所有历年真题的答案全部背下来，包括每道题的具体数字、选项顺序。考试时，如果题目一模一样，你能得满分；但如果题目稍微变化（比如数字改了），你就完全不会了。方式B（浅尝辄止）：你只是粗略看了看教材目录，记住了几个章节名称。考试时，无论是原题还是新题，你都只能靠猜。这两种方式都有问题：理想状态应该是：你理解了知识的本质规律，既能做对练习题，也能应对考试中的新题。在深度学习中，我们的终极目标不是让模型在训练集上表现好，而是要在从未见过的真实数据上表

2025-12-20 10:19:36 1441

原创 tsai 中 Learner 机制深度学习笔记

问题：某些研究场景需要完全自定义训练循环# 例如：GAN训练（生成器和判别器交替训练）# Learner的标准训练循环不适用# 解决：回归原始PyTorch# 训练判别器# 训练生成器。

2025-12-19 11:35:40 919

原创 tsai 中 Callback 机制深度学习笔记

print(f"开始训练，共from fastai . callback . core import Callback class SimpleLoggingCallback(Callback) : def before_fit(self) : print(f"开始训练，共 {self . learn . n_epoch } 个epoch") def after_epoch(self) : print(f"Epoch {

2025-12-19 11:05:52 1106

原创 Conv1d（一维卷积）深度学习学习笔记

对于卷积核张量的形状Weight∈RCout×Cin×KWeight∈RCout×Cin×KCoutCout：输出通道数（有多少个过滤器）CinCin：输入通道数（每个过滤器的深度）KKK：卷积核大小（时间维度上的窗口大小）单个输出值的计算对于第jjj个输出通道、第tttyjt∑i0Cin−1∑k0K−1xitk⋅wjikbjyjti0∑Cin−。

2025-12-18 17:43:44 706

原创 TSTabFusionTransformer 深度学习学习笔记

具备基础深度学习知识，希望理解如何融合时序数据与表格数据进行预测的学习者。

2025-12-18 17:42:24 1165

原创 tsai 工厂函数深度解析：get_ts_dls 与 build_ts_model

场景:心电图(ECG)信号分类数据:5000 个样本,每个 12 导联,250 时间步目标:5 分类(正常 / 4种异常)

2025-12-18 09:38:35 614

原创深度学习笔记：Dataset 与 DataLoader

在深度学习中，我们经常面临以下实际挑战：场景 1：图像分类任务假设你正在训练一个猫狗分类器，数据集包含 100,000 张高分辨率图片。如果直接将所有图片加载到内存：场景 2：自然语言处理处理大规模文本数据时：场景 3：实时数据增强在训练时需要：深度学习训练面临三个核心问题：**Dataset（数据集类）**的职责：**DataLoader（数据加载器）**的职责：类比理解：对于训练集 D={(x(i),y(i))}i=1N\mathcal{D} = \{(x^{(i)}, y^{(i)})\}_{i

2025-12-17 19:52:34 707

空空如也

空空如也