- 博客(52)
- 收藏
- 关注
RSS订阅原创 DAY 50 预训练模型+CBAM模块
CBAM放置位置的思考知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调。
2025-06-15 15:57:58
687
原创 DAY 48 随机函数与广播机制
pytorch的广播机制知识点回顾：随机张量的生成：torch.randn函数卷积和池化的计算公式（可以不掌握，会自动计算的）pytorch的广播机制：加法和乘法的广播机制ps：numpy运算也有类似的广播机制，基本一致。
2025-06-11 23:53:55
818
原创 DAY 47 注意力热图可视化
在昨天训练中我们发现在同样50个epoch后精度略有提升，此时我们关注的不只是精度的差异，还包含了同精度下训练时长的差异等，在大规模数据集上推理时长、训练时长都非常重要。可视化部分同理，在训练完成后通过钩子函数取出权重or梯度，即可进行特征图的可视化、Grad-CAM可视化、注意力热图可视化。热力图（红色表示高关注，蓝色表示低关注）半透明覆盖在原图上。昨天代码中注意力热图的部分顺移至今天。作业：对比不同卷积层热图可视化的结果。捕获最后一个卷积层（
2025-06-10 23:26:18
702
原创 DAY 46 通道注意力(SE注意力)
什么是注意力知识点回顾：不同CNN层的特征图：不同通道的特征图什么是注意力：注意力家族，类似于动物园，都是不同的模块，好不好试了才知道。通道注意力：模型的定义和插入的位置通道注意力后的特征图和热力图PS:目前我们终于接触到了模块，模块本质上也是对特征的进一步提取，整个深度学习就是在围绕特征提取展开的，后面会是越来越复杂的特征提取和组合步骤。
2025-06-09 22:17:50
679
原创 DAY 45 Tensorboard使用介绍
tensorboard在cifar上的实战：MLP和CNN模型知识点回顾：tensorboard的发展历史和原理tensorboard的常见操作tensorboard在cifar上的实战：MLP和CNN模型作业：对resnet18在cifar10上采用微调策略下，用tensorboard监控训练过程。PS:tensorboard和torch版本存在一定的不兼容性，如果报错请新建环境尝试。
2025-06-08 15:50:19
940
原创 DAY 44 预训练模型
1. 早期探索（1990s-2010s）：LeNet 验证 CNN 可行性，但受限于计算和数据。2. 深度学习复兴（2012-2015）：AlexNet、VGGNet、GoogLeNet 通过加深网络和结构创新突破性能。3. 超深网络时代（2015 年后）：ResNet 解决退化问题，开启残差连接范式，后续模型围绕效率（MobileNet）、特征复用（DenseNet）、多分支结构（Inception）等方向优化。
2025-06-07 23:50:38
981
原创 DAY 43 复习日
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。代码示例：乐器分辨数据集。进阶：并拆分成多个文件。
2025-06-06 23:07:31
154
原创 DAY 41 简单CNN
知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层2.Flatten -> Dense (with Dropout，可选) -> Dense (Output)作业：尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。（一）数据增强。
2025-06-02 23:22:58
761
原创 DAY 40 训练和测试的规范写法
批量维度不变性：无论进行flatten、view还是reshape操作，第一个维度batch_size通常保持不变。动态维度指定：使用-1让PyTorch自动计算该维度的大小，但需确保其他维度的指定合理，避免形状不匹配错误。
2025-05-30 20:42:58
972
原创 DAY 39 图像数据与显存
图像数据，相较于结构化数据（表格数据）的特点在于他每个样本的的形状并不是(特征数，)，而是(宽，高，通道数)结构化数据（如表格）的形状通常是 (样本数, 特征数)，例如 (1000, 5) 表示 1000 个样本，每个样本有 5 个特征。图像数据的形状更复杂，需要保留空间信息（高度、宽度、通道），因此不能直接用一维向量表示。其中颜色信息往往是最开始输入数据的通道的含义，因为每个颜色可以用红绿蓝三原色表示，因此一般输入数据的通道数是 3。维度索引含义数值说明0通道数（Channels）1。
2025-05-29 14:19:42
923
原创 DAY 38 Dataset和Dataloader类
Dataset = 厨师（准备单个菜品）- DataLoader = 服务员（将菜品按订单组合并上桌）预处理（如切菜、调味）属于厨师的工作，而非服务员。所以在dataset就需要添加预处理步骤。
2025-05-27 22:27:57
971
原创 DAY 37 早停策略和模型权重的保存
过拟合的判断知识点回顾：过拟合的判断：测试集和训练集同步打印指标模型的保存和加载仅保存权重保存权重和模型保存全部信息checkpoint，还包含训练状态早停策略作业：对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。
2025-05-26 21:33:57
790
原创 DAY 36 复习日
对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。：尝试进入nn.Module中，查看他的方法。今天的代码完善流程还不熟悉，还需继续学习。探索性作业（随意完成）
2025-05-25 20:40:25
143
原创 DAY 35 模型可视化与推理
知识点回顾：三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化进度条功能：手动和自动写法，让打印结果更加美观推理的写法：评估模式作业：调整模型定义时的超参数，对比下效果。
2025-05-24 23:57:45
1155
原创 DAY 34 GPU训练及类的call方法
数据传输和各种固定开销的总和，超过了 GPU 在这点计算量上通过并行处理所能节省的时间，导致了 GPU 比 CPU 慢的现象。- CPU (12th Gen Intel Core i9-12900KF): 对于这种小任务，CPU 的单核性能强劲，且没有显著的数据传输到“另一块芯片”的开销。它可以非常迅速地完成计算。- GPU (NVIDIA GeForce RTX 3080 Ti):需要花费时间将数据和模型从 CPU 内存移动到 GPU 显存。
2025-05-23 21:19:51
1670
原创 DAY 33 简单的神经网络
Lasso（Least Absolute Shrinkage and Selection Operator）是一种线性回归的改进方法，通过引入L1正则化（绝对值惩罚项）实现特征选择和防止过拟合。核心特点特征选择：通过将部分系数压缩到0，自动筛选重要特征稀疏性：适用于高维数据，生成稀疏模型超参数λ：控制正则化强度，λ越大模型越简单。
2025-05-22 21:35:49
1058
原创 DAY 32 官方文档的阅读
现在面对一个全新的官方库，看看能否借助官方文档的写法了解其如何使用。我们以pdpbox这个机器学习解释性库来介绍如何使用官方文档。大多数 Python 库都会有官方文档，里面包含了函数的详细说明、用法示例以及版本兼容性信息。通常查询方式包含以下几种：GitHub仓库PyPI页面官方文档-在官方文档中搜索函数名，然后查看函数的详细说明和用法示例我们以鸢尾花三分类项目来演示如何查看官方文档：数据介绍数据规模：150个样本，3个类别(各50个样本)特征维度：4个数值型特征。
2025-05-21 23:38:48
794
原创 DAY31-文件的规范拆分和写法
数据模块：数据加载、预处理、特征工程代码可通过参数化和配置文件适配新数据集。模型模块：模型定义和训练逻辑可扩展为通用框架（如支持PyTorch或TensorFlow）。工具模块：日志、文件操作、可视化工具可跨项目直接复用。配置文件：集中管理参数，避免硬编码，提升灵活性。
2025-05-20 21:58:47
827
原创 day30-模块和库的导入
本质：以.py结尾的单个文件，包含Python代码（函数、类、变量等）。作用：将代码拆分到不同文件中，避免代码冗余，方便复用和维护。本质有层次的文件目录结构（即文件夹），用于组织多个模块和子包。核心特征：包的根目录下必须包含一个文件（可以为空），用于标识该目录是一个包。
2025-05-19 17:24:42
937
原创 DAY29——类的装饰器及复习日
知识点回顾类的装饰器装饰器思想的进一步理解：外部修改、动态类方法的定义：内部定义和外部定义作业：复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，对python这门工具的理解等。
2025-05-18 23:41:28
746
原创 DAY26-函数专题
函数定义函数的基本写法如下所示：```python"""Docstring: 描述函数的功能、参数和返回值 (可选但强烈推荐)"""# 函数体: 实现功能的代码# ...return value # 可选，用于返回结果```- def: 关键字，表示开始定义一个函数。- function_name: 函数的名称，应遵循Python的命名约定（通常是小写字母和下划线，例如 calculate_area,用英文单词含义和下划线来作为函数名）。
2025-05-15 22:08:43
985
原创 day25-异常处理
知识点回顾：异常处理机制debug过程中的各类报错try-except机制try-except-else-finally机制在即将进入深度学习专题学习前，我们最后差缺补漏，把一些常见且重要的知识点给他们补上，加深对代码和流程的理解。作业：理解今日的内容即可，可以检查自己过去借助ai写的代码是否带有try-except机制，以后可以尝试采用这类写法增加代码健壮性。
2025-05-14 20:58:05
889
原创 Day22/23
在机器学习中，通常会按照一定的顺序对数据进行预处理、特征提取、模型训练和模型评估等步骤，以实现机器学习模型的训练和评估。为了方便管理这些步骤，我们可以使用pipeline来构建一个完整的机器学习流水线。pipeline是一个用于组合多个估计器（estimator）的 estimator，它实现了一个流水线，其中每个估计器都按照一定的顺序执行。在pipeline中，每个估计器都实现了fit和transform方法，fit方法用于训练模型，transform方法用于对数据进行预处理和特征提取。转换器。
2025-05-13 19:30:01
1134
原创 Day22打卡-复习
复习日仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。作业：自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码泰坦尼克号人员生还预测。
2025-05-12 23:37:13
760
原创 Day21打卡—常见降维算法
知识点回顾：LDA线性判别PCA主成分分析t-sne降维作业：自由作业：探索下什么时候用到降维？降维的主要应用？或者让ai给你出题，群里的同学互相学习下。可以考虑对比下在某些特定数据集上t-sne的可视化和pca可视化的区别。
2025-05-11 22:41:22
493
原创 Day20打卡-奇异值SVD分解
SVD 的奇异值是通过对 A^T A 或 A A^T的特征值取平方根得到的，特征向量则与奇异向量相关#在 SVD 中，我们构造 A^T A 和 A A^T，这两个矩阵都是对称矩阵，因此可以进行特征值分解，进而求解奇异值和奇异向量#SVD 是一种更广义的矩阵分解方法，适用于非方阵，而特征值分解是 SVD 计算的基础步骤。总结：- 正交矩阵：列向量正交且单位化，在 SVD 中用于旋转或反射（U 和 V）。- 特征值与特征向量：描述矩阵在某些方向上的缩放特性，是计算奇异值的基础。
2025-05-10 22:08:38
835
原创 Day19打卡——特征筛选算法
常见的特征筛选算法有：方差筛选皮尔逊相关系数筛选lasso筛选树模型重要性shap重要性递归特征消除REF作业：对心脏病数据集完成特征筛选，对比精度过去电脑性能比较差，特征数目太多计算起来很慢。同时特征中可能存在很多冗余特征干扰解释性、存在噪声特征干扰精度。所以在面对高维特征的时候常常需要引入特征降维，对于某些特征较多的数据，如基因数据、微生物数据、传感器数据等，特征较多，所以会考虑特征降维。
2025-05-09 17:31:56
1104
原创 Day18打卡—
Age|o_Cluster（年龄聚类）分布：多峰分布（0.0-3.0区间），峰值在2.6-3.4区间意义：可能对应不同年龄段分组（如青年/中年/老年）异常点：3.0+的极端值需检查是否数据错误或特殊病例Slope（坡度，可能指ST段斜率）分布：右偏分布（0.0-2.0），集中在0.0-1.0临床关联：平坦或下斜的ST段斜率与心肌缺血相关Sex（性别）分布：二值分布（0=女，1=男），男性占比显著更高注意：需结合样本平衡性评估（可能反映数据集偏差）
2025-05-08 22:55:33
765
原创 Day17打卡-无监督算法中的聚类算法
以下是三种常用的聚类效果评估指标，分别用于衡量聚类的质量和簇的分离与紧凑程度：1. 轮廓系数 (Silhouette Score)- 定义：轮廓系数衡量每个样本与其所属簇的紧密程度以及与最近其他簇的分离程度。- 取值范围：[-1, 1]- 轮廓系数越接近 1，表示样本与其所属簇内其他样本很近，与其他簇很远，聚类效果越好。- 轮廓系数越接近-1，表示样本与其所属簇内样本较远，与其他簇较近，聚类效果越差（可能被错误分类）。- 轮廓系数接近 0，表示样本在簇边界附近，聚类效果无明显好坏。
2025-05-07 22:27:07
1014
原创 Day15打卡
作业：尝试找到一个kaggle或者其他地方的结构化数据集，用之前的内容完成一个全新的项目，这样你也是独立完成了一个专属于自己的项目。要求：有数据地址的提供数据地址，没有地址的上传网盘贴出地址即可。尽可能与他人不同，优先选择本专业相关数据集探索一下开源数据的网站有哪些？进阶思考：数据本身是否能够支撑起这个研究？---数据的数目、质量数据的来源是否可靠？什么叫做数据的质量？筛选数据源的标准是什么？数据来源。
2025-05-05 23:59:41
303
原创 Day14打卡-SHAP图介绍
SHAP 是一种基于博弈论的模型解释方法，能够量化每个特征对模型预测的贡献。SHAP模型可以让我们知道这些已知条件到底对最终预测结果起到哪些影响（是对结果起到正向影响还是对结果起到了负向影响）。SHAP 的灵感来源于博弈论中的 Shapley 值，用于公平分配合作收益给参与者。在机器学习中，将每个特征视为“参与者”，模型的预测结果视为“总收益”，通过计算每个特征的 Shapley 值来衡量其对预测的贡献。SHAP可以统一解释全局和局部特征重要性、支持任意模型（包括黑箱模型）；
2025-05-04 22:19:26
768
原创 Day13打卡
① 随机过采样ROS随机过采样是从少数类中随机选择样本，并将其复制后添加到训练集。随机过采样的步骤如下：1. 确定少数类的样本数。2. 从少数类中随机选择样本，并将其复制。3. 将复制的样本添加到训练集。随机过采样的优点是它可以增加少数类的样本数，从而提高模型的泛化能力。随机过采样的缺点是它可能会增加训练集的大小，从而增加训练时间。此外，它可能会增加噪声，并且可能会增加模型的偏差。print('随机过采样后训练集的形状：',X_train_ros.shape,y_train_ros.shape)
2025-05-03 21:41:44
847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人