m0_69058578的博客

原创 DAY 50 预训练模型+CBAM模块

针对预训练模型的训练策略。CBAM放置位置的思考。resnet结构解析。

原创 DAY 49 CBAM注意力

【代码】DAY 49 CBAM注意力。

原创 DAY 48 随机函数与广播机制

卷积和池化的计算公式（可以不掌握，会自动计算的）ps：numpy运算也有类似的广播机制，基本一致。pytorch的广播机制：加法和乘法的广播机制。随机张量的生成：torch.randn函数。

原创 DAY 47 注意力热图可视化

【代码】DAY 47 注意力热图可视化。

原创 DAY 46 通道注意力(SE注意力)

什么是注意力：注意力家族，类似于动物园，都是不同的模块，好不好试了才知道。不同CNN层的特征图：不同通道的特征图。通道注意力：模型的定义和插入的位置。通道注意力后的特征图和热力图。

原创 DAY 45 Tensorboard使用介绍

tensorboard在cifar上的实战：MLP和CNN模型。tensorboard的发展历史和原理。tensorboard的常见操作。

原创 DAY 44 预训练模型

预训练代码实战：resnet18。图像预训练模型的发展史。常见的分类预训练模型。

原创 DAY 42 Grad-CAM与Hook函数

hook函数的模块钩子和张量钩子。Grad-CAM的示例。

原创 DAY 41 简单CNN

2. Flatten -> Dense (with Dropout，可选) -> Dense (Output)1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层。batch归一化：调整一个批次的分布，常用与图像数据。特征图：只有卷积操作输出的才叫特征图。调度器：直接修改基础学习率。卷积神经网络定义的写法。

原创 DAY 40 训练和测试的规范写法

dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。

原创 DAY 39 图像数据与显存

batchisize和训练的关系。图像数据的格式：灰度和彩色数据。

原创 DAY 38 Dataset和Dataloader类

Dataset类的__getitem__和__len__方法（本质是python的特殊方法）minist手写数据集的了解。Dataloader类。

原创 DAY 37 早停策略和模型权重的保存

对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。保存全部信息checkpoint，还包含训练状态。过拟合的判断：测试集和训练集同步打印指标。

原创 DAY 35 模型可视化与推理

三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化。进度条功能：手动和自动写法，让打印结果更加美观。作业：调整模型定义时的超参数，对比下效果。推理的写法：评估模式。

原创 DAY 34 GPU训练及类的call方法

类的call方法：为什么定义前向传播时可以直接写作self.fc1(x)GPU训练的方法：数据和模型移动到GPU device上。CPU性能的查看：看架构代际、核心数、线程数。GPU性能的查看：看显存、看级别、看架构代际。

原创 DAY 33 MLP神经网络的训练

查看显卡信息的命令行命令（cmd中使用）数据预处理（归一化、转换成张量）PyTorch和cuda的安装。继承nn.Module类。定义损失函数和优化器。

原创 DAY 32 官方文档的阅读

官方文档的阅读和使用：要求安装的包和文档为同一个版本。官方文档的检索方式：github和官网。绘图的理解：对底层库的调用。普通方法所需要的参数。

原创 DAY 31 文件的规范拆分和写法

【代码】DAY 31 文件的规范拆分和写法。

原创 DAY 30 模块和库的导入

导入库/模块的核心逻辑：找到根目录（python解释器的目录和终端的目录不一致）导入自定义库/模块的方式。注意：cd切换工作目录。导入官方库的三种手段。

原创 DAY 29 复习日：类的装饰器

装饰器思想的进一步理解：外部修改、动态。类方法的定义：内部定义和外部定义。

原创 DAY 28 类的定义和方法

calculate_perimeter()：计算周长（公式：2×(长+宽)）。is_square() 方法，判断是否为正方形（长 == 宽）。calculate_circumference()：计算圆的周长（公式：2πr）。shape_type="rectangle"：创建长方形（参数：长、宽）。calculate_area()：计算圆的面积（公式：πr²）。shape_type="circle"：创建圆（参数：半径）。calculate_area()：计算面积（公式：长×宽）。

原创 DAY 27 函数专题2：装饰器

编写一个装饰器 logger，在函数执行前后打印日志信息（如函数名、参数、返回值）装饰器的思想：进一步复用。注意内部函数的返回值。

原创 DAY 26 函数专题1：函数定义与参数

编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。编写一个名为 calculate_average 的函数，该函数可以接收任意数量的数字作为参数（引入可变位置参数 (*args)），并返回它们的平均值。编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。函数的参数类型：位置参数、默认参数、不定参数。user_id 是一个必需的位置参数。

原创 DAY 25 异常处理

try-except-else-finally机制。debug过程中的各类报错。try-except机制。

原创 DAY 24 元组和OS模块

知识点回顾：元组可迭代对象os模块。

原创 DAY 23 pipeline管道

ColumnTransformer和Pipeline类。转化器和估计器的概念。

原创 DAY 21 常见的降维算法

知识点回顾：LDA线性判别PCA主成分分析t-sne降维。

原创 DAY 20 奇异值SVD分解

推荐系统：在协同过滤算法中，用户-物品评分矩阵通常是稀疏且高维的。SVD (或其变种如 FunkSVD, SVD++) 可以用来分解这个矩阵，发现潜在因子 (latent factors)，从而预测未评分的项。这里其实属于特征降维的部分。数据重构：比如重构信号、重构图像（可以实现有损压缩，k 越小压缩率越高，但图像质量损失越大）降噪：通常噪声对应较小的奇异值。通过丢弃这些小奇异值并重构矩阵，可以达到一定程度的降噪效果。特征降维：对高维数据减小计算量、可视化。

原创 DAY 19 常见的特征筛选算法

对心脏病数据集完成特征筛选，对比精度。

原创 DAY 18 推断聚类后簇的类型

参考示例代码对心脏病数据集采取类似操作，并且评估特征工程后模型效果有无提升。推断簇含义的2个思路：先选特征和后选特征。科研逻辑闭环:通过精度判断特征工程价值。通过可视化图形借助ai定义簇的含义。聚类后的分析：推断簇的类型。

原创 DAY 17 常见聚类算法

聚类常见算法：kmeans聚类、dbscan聚类、层次聚类。

原创 DAY 16 数组的常见操作和形状

numpy数组的创建：简单创建、随机创建、遍历、运算。numpy数组的索引：一维、二维、三维。SHAP值的深入理解。

原创 day14 SHAP图的绘制

原创 day13 不平衡数据的处理

从示例代码可以看到 效果没有变好，所以很多步骤都是理想是好的，但是现实并不一定可以变好。这个实验仍然有改进空间，如下。1. 我还没做smote+过采样+修改权重的组合策略，有可能一起做会变好。针对上面这2个探索路径，继续尝试下去，看看是否符合猜测。2. 我还没有调参，有可能调参后再取上述策略可能会变好。不平衡数据集的处理策略：过采样、修改权重、修改阈值。

原创 day12 启发式算法

的思路为主，尝试检索资料、视频、文档，用尽可能简短但是清晰的语言看是否能说清楚这三种算法每种算法的实现逻辑，帮助更深入的理解。三种启发式算法的示例代码：遗传算法、粒子群算法、退火算法。学习优化算法的思路（避免浪费无效时间）

原创 day11 常见的调参方式

对于信贷数据的其他模型，如LightGBM和KNN 尝试用下贝叶斯优化和网格搜索。贝叶斯优化（2种实现逻辑，以及如何避开必须用交叉验证的问题）随机搜索（简单介绍，非重点 实战中很少用到，可以不了解）time库的计时模块，方便后人查看代码运行时长。

原创 day10 机器学习建模与评估

今日代码比较多，但是难度不大，仔细看看示例代码，好好理解下这几个评估指标。尝试对心脏病数据集采用机器学习模型建模和评估。机器学习模型建模的三行代码。机器学习模型分类问题的评估。

原创 day9 热力图和子图的绘制

尝试对着心脏病数据集绘制热力图和单特征分布的大图（包含几个子图）知识点：热力图和子图的绘制。enumerate（）函数。介绍了热力图的绘制方法。介绍了子图的绘制方法。

原创 day8 标签编码与连续变量处理

对心脏病数据集的特征用上述知识完成，一次性用所有的处理方式完成预处理，尝试手动完成，多敲几遍代码。连续特征的处理：归一化和标准化。至此，常见的预处理方式都说完了。

原创 day7 复习