- 博客(30)
- 收藏
- 关注
原创 【python深度学习】Day 41 简单CNN
知识回顾数据增强卷积神经网络定义的写法batch归一化:调整一个批次的分布,常用与图像数据特征图:只有卷积操作输出的才叫特征图调度器:直接修改基础学习率卷积操作常见流程如下:1. 输入 → 卷积层 → Batch归一化层(可选) → 池化层 → 激活函数 → 下一层2. Flatten -> Dense (with Dropout,可选) -> Dense (Output)一、数据增强在图像数据预处理环节,为提升数据多样性,可采用数据增强(数据增广)策略。
2025-05-31 18:58:55
720
原创 【python深度学习】Day 40 训练和测试的规范写法
仔细学习下测试和训练代码的逻辑,这是基础,这个代码框架后续会一直沿用,后续的重点慢慢就是转向模型定义阶段了。dropout操作:训练阶段随机丢弃神经元,测试阶段eval模式关闭dropout。展平操作:除第一个维度batchsize外全部展平。图片测试和训练的规范写法:封装在函数中。
2025-05-30 23:20:24
501
原创 【python深度学习】Day 39 图像数据与显存
先归一化,再标准化transforms.ToTensor(), # 转换为张量并归一化到[0,1]transforms.Normalize((0.1307,), (0.3081,)) # MNIST数据集的均值和标准差,这个值很出名,所以直接使用])# 2. 加载MNIST数据集,如果没有会自动下载# 定义两层MLP神经网络self.flatten = nn.Flatten() # 将28x28的图像展平为784维向量。
2025-05-29 17:50:20
1064
1
原创 【python深度学习】Day38 Dataset和Dataloader类
Dataset类的__getitem__和__len__方法(本质是python的特殊方法)了解下cifar数据集,尝试获取其中一张图片。minist手写数据集的了解。Dataloader类。
2025-05-27 22:22:32
226
原创 【python深度学习】Day 37 早停策略和模型权重的保存
对信贷数据集训练后保存权重,加载权重后继续训练50轮,并采取早停策略。保存全部信息checkpoint,还包含训练状态。过拟合的判断:测试集和训练集同步打印指标。DAY 37 早停策略和模型权重的保存。2.第一次训练(不使用早停)3.第二次训练(使用早停)
2025-05-26 23:13:42
169
原创 【python深度学习】Day36 复习日
对之前的信贷项目,利用神经网络训练下,尝试用到目前的知识点让代码更加规范和美观。回顾一下神经网络到目前的内容,没跟上进度的同学补一下进度。:尝试进入nn.Module中,查看他的方法。
2025-05-25 23:37:45
192
原创 【python深度学习】Day 35 模型可视化与推理
本文回顾了三种模型可视化方法,重点推荐使用torchinfo打印模型摘要和权重分布。介绍了手动和自动两种进度条实现方式,使输出更美观。讲解了模型推理时的评估模式设置方法,并布置了调整模型超参数并对比效果的实践任务。
2025-05-24 23:23:51
479
原创 【python深度学习】Day34 GPU训练及类的call方法
类的call方法:为什么定义前向传播时可以直接写作self.fc1(x)GPU训练的方法:数据和模型移动到GPU device上。CPU性能的查看:看架构代际、核心数、线程数。GPU性能的查看:看显存、看级别、看架构代际。
2025-05-23 18:43:08
201
原创 【python深度学习】Day 33 简单的神经网络
1. 分类任务中,若标签是整数(如 0/1/2 类别),需转为long类型(对应 PyTorch 的torch.long),否则交叉熵损失函数会报错。这里定义一个简单的全连接神经网络模型,包含一个输入层、一个隐藏层和一个输出层。2. 回归任务中,标签需转为float类型(如torch.float32)。这已经是最简单最基础的版本了。查看显卡信息的命令行命令(cmd中使用)数据预处理(归一化、转换成张量)(1) 定义损失函数和优化器。3.模型训练(cpu版本)(0)准备数据、划分数据。(2) 转化数据类型。
2025-05-22 23:58:25
222
原创 【python进阶知识】Day32 官方文档的阅读
面对一个全新的官方库,借助官方文档的写法了解其如何使用。3. 官方文档:https://pdpbox.readthedocs.io/en/latest/1. GitHub 仓库:https://github.com/SauceCat/PDPbox。2. PyPI 页面:https://pypi.org/project/PDPbox/参考pdpbox官方文档中的其他类,绘制相应的图,任选即可。官方文档的阅读和使用:要求安装的包和文档为。官方文档的检索方式:github和官网。绘图的理解:对底层库的调用。
2025-05-21 23:13:01
233
原创 【python进阶知识】Day 31 文件的规范拆分和写法
命名参考:preprocess.py 、data_cleaning.py 、data_transformation.py。- 命名参考:eda.py 、visualization_utils.py。- 命名参考:load_data.py 、data_loader.py。- 命名参考:predict.py 、inference.py。- 模型评估:用合适指标评估模型在测试集上的性能,生成报告。- 命名参考:model.py 、train.py。- 模型训练:构建模型架构,设置超参数并训练,保存模型。
2025-05-20 23:04:16
247
原创 【python基础知识】Day30 模块和库的导入
学习python = 学习python基础语法 + 处理任务需要用到的库一、导入官方库的三种手段。
2025-05-19 23:17:17
399
原创 【python基础知识】Day29 类的装饰器
知识点回顾类修改器的逻辑:接收一个类,返回一个修改后的类。修改内柔如下:29天总结:1. Python基础语法-数据类型:列表、字典、集合、元组的使用- 循环语句 : for 循环(如累加1-100)、 while 循环- 条件语句 : if-elif-else 结构(如温度预警判断)- 函数定义 : def 关键字定义函数(如 debug_example() 函数) 类的定义:class - 字符串格式化 :f-string的使用(如 print(f"平均分数: {aver
2025-05-18 23:14:50
828
原创 【python基础知识】Day 28 类的定义和方法
calculate_perimeter():计算周长(公式:2×(长+宽))。is_square() 方法,判断是否为正方形(长 == 宽)。calculate_circumference():计算圆的周长(公式:2πr)。shape_type="rectangle":创建长方形(参数:长、宽)。calculate_area():计算圆的面积(公式:πr²)。shape_type="circle":创建圆(参数:半径)。calculate_area():计算面积(公式:长×宽)。
2025-05-17 23:28:09
179
原创 【python基础知识】Day 27 函数专题2:装饰器
func.__name__ :按照pep8的约定,在一个变量前后都加上两个下划线代表着这是一个Python内置的变量,是自动创建的。作用返回 func 的名称更详细的可以问AI。编写一个装饰器 logger,在函数执行前后打印日志信息(如函数名、参数、返回值)装饰器的思想:进一步复用。注意内部函数的返回值。
2025-05-16 23:17:12
843
原创 【python基础知识】Day26 函数
函数是一段具有特定功能的、可重用的语句组,用函数名来表示。在需要使用函数时,通过函数名进行调用。函数也可以看作一段具有名字的子程序,可以在需要使用它的地方进行调用执行,不需要在每个执行的地方重复编写这些语句。每次使用函数时,可以提供不同的参数作为输入,以实现对不同的数据处理;函数执行后,可以反馈相应的处理结果。函数能够完成特定的功能,与黑盒类似,对函数的使用不需要了解函数内部实现原理,只要了解函数的输入输出方式即可。严格地说,函数是一种功能的抽象。有些函数是python自带的,如print();
2025-05-15 22:34:31
1289
原创 【python机器学习】Day 25 异常处理
当程序在运行时遇到意外情况(即异常),程序不会直接崩溃,人们可以通过 try-except 优雅地处理这些错误,并可能继续执行后续逻辑(如果设计允许)或以可控的方式结束。借助ai写代码的时候,经常会遇到try-except的异常处理模块,这是因为大部分大模型在后训练阶段都是经过强化学习训练的,为了确保结果的正确运行,只有采取 try-except的异常处理模块才能提高模型运行成功的概率。在即将进入深度学习专题学习前,我们最后差缺补漏,把一些常见且重要的知识点给他们补上,加深对代码和流程的理解。
2025-05-14 21:02:16
210
原创 【python机器学习】Day23 pipeline管道
ColumTransformer的核心# --- 定义不同列的类型和它们对应的预处理步骤 ---# 这些定义是基于原始数据 X 的列类型来确定的# 识别原始的 object 列 (对应你原代码中的 discrete_features 在预处理前)# 识别原始的非 object 列 (通常是数值列)# 有序分类特征 (对应你之前的标签编码)# 注意:OrdinalEncoder默认编码为0, 1, 2... 对应你之前的1, 2, 3...需要在模型解释时注意。
2025-05-12 22:22:09
1186
原创 【python机器学习】Day 22 复习总结
自行学习参考如何使用kaggle平台,写下使用注意点,并对下述比赛提交代码。仔细回顾一下之前21天的内容,没跟上进度的同学补一下进度。
2025-05-11 23:01:33
107
原创 【python机器学习】Day 21 降维方法总结
机器学习常见降维方法PCA主成分分析t-SNE(t-LDA线性判别Kernel LDA(核线性判别分析)---有监督、非线性。
2025-05-10 19:14:30
242
原创 【python机器学习】Day 20 特征降维---SVD奇异值分解
SVD (或其变种如 FunkSVD, SVD++) 可以用来分解这个矩阵,发现潜在因子 (latent factors),从而预测未评分的项。结构化数据中,将原来的m个特征降维成k个新的特征,新特征是原始特征的线性组合,捕捉了数据的主要方差信息,降维后的数据可以直接用于机器学习模型(如分类、回归),通常能提高计算效率并减少过拟合风险。在进行 SVD 之前,通常需要对数据进行标准化(均值为 0,方差为 1),以避免某些特征的量纲差异对降维结果的影响。线性代数可不必在意,推导可以不掌握,只关注输入输出即可。
2025-05-09 22:53:46
485
原创 【python机器学习】Day19 特征筛选算法
这里没有进行标准化和归一化,故此步骤可以跳过,仅是为了流程完整。对心脏病数据集完成特征筛选,对比精度。4.模型训练---基准模型。(2)皮尔逊相关系数筛选。(6)递归特征消除REF。1.读取数据、认识数据。(3)lasso筛选。(5)shap重要性。
2025-05-08 20:33:40
231
原创 【python机器学习】Day 16 numpy库
SHAP 库能为几乎所有类型的机器学习模型提供解释,包括线性模型、树模型、神经网络等。通过计算每个特征对模型预测结果的贡献(即 Shapley 值),来解释模型的决策过程。从而帮助用户理解模型为什么做出这样的预测,哪些特征对预测结果的影响最大。
2025-05-05 22:11:38
358
原创 【python机器学习】Day13 SHAP 库
尝试确定一下shap各个绘图函数对于每一个参数的尺寸要求,如shap.force_plot力图中的数据需要满足什么形状?确定分类问题和回归问题的数据如何才能满足尺寸,分类采取信贷数据集,回归采取单车数据集。特征维度和使用SHAP库息息相关。今日作业偏思考类型,有一定难度。参考上述文档补全剩余的几个图。1.特征重要性条形图。2.特征重要性蜂巢图。
2025-05-03 22:39:03
330
原创 【python机器学习】Day 13不平衡数据处理
从示例代码可以看到 效果没有变好,所以很多步骤都是理想是好的,但是现实并不一定可以变好。这个实验仍然有改进空间,如下。1. 没做smote+过采样+修改权重的组合策略,有可能一起做会变好。针对上面这2个探索路径,继续尝试下去,看看是否符合猜测。不平衡数据集的处理策略:过采样、修改权重、修改阈值。2. 没有调参,有可能调参后再取上述策略可能会变好。(2)确定少数类标签(修改权重前一定要做)(5)修改权重后的模型,模型评估。(2)SMOTE过采样。
2025-05-02 16:02:33
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人