自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 收藏
  • 关注

原创 【python深度学习】Day 41 简单CNN

知识回顾数据增强卷积神经网络定义的写法batch归一化:调整一个批次的分布,常用与图像数据特征图:只有卷积操作输出的才叫特征图调度器:直接修改基础学习率卷积操作常见流程如下:1. 输入 → 卷积层 → Batch归一化层(可选) → 池化层 → 激活函数 → 下一层2. Flatten -> Dense (with Dropout,可选) -> Dense (Output)一、数据增强在图像数据预处理环节,为提升数据多样性,可采用数据增强(数据增广)策略。

2025-05-31 18:58:55 720

原创 【python深度学习】Day 40 训练和测试的规范写法

仔细学习下测试和训练代码的逻辑,这是基础,这个代码框架后续会一直沿用,后续的重点慢慢就是转向模型定义阶段了。dropout操作:训练阶段随机丢弃神经元,测试阶段eval模式关闭dropout。展平操作:除第一个维度batchsize外全部展平。图片测试和训练的规范写法:封装在函数中。

2025-05-30 23:20:24 501

原创 【python深度学习】Day 39 图像数据与显存

先归一化,再标准化transforms.ToTensor(), # 转换为张量并归一化到[0,1]transforms.Normalize((0.1307,), (0.3081,)) # MNIST数据集的均值和标准差,这个值很出名,所以直接使用])# 2. 加载MNIST数据集,如果没有会自动下载# 定义两层MLP神经网络self.flatten = nn.Flatten() # 将28x28的图像展平为784维向量。

2025-05-29 17:50:20 1064 1

原创 【python深度学习】Day38 Dataset和Dataloader类

Dataset类的__getitem__和__len__方法(本质是python的特殊方法)了解下cifar数据集,尝试获取其中一张图片。minist手写数据集的了解。Dataloader类。

2025-05-27 22:22:32 226

原创 【python深度学习】Day 37 早停策略和模型权重的保存

对信贷数据集训练后保存权重,加载权重后继续训练50轮,并采取早停策略。保存全部信息checkpoint,还包含训练状态。过拟合的判断:测试集和训练集同步打印指标。DAY 37 早停策略和模型权重的保存。2.第一次训练(不使用早停)3.第二次训练(使用早停)

2025-05-26 23:13:42 169

原创 【python深度学习】Day36 复习日

对之前的信贷项目,利用神经网络训练下,尝试用到目前的知识点让代码更加规范和美观。回顾一下神经网络到目前的内容,没跟上进度的同学补一下进度。:尝试进入nn.Module中,查看他的方法。

2025-05-25 23:37:45 192

原创 【python深度学习】Day 35 模型可视化与推理

本文回顾了三种模型可视化方法,重点推荐使用torchinfo打印模型摘要和权重分布。介绍了手动和自动两种进度条实现方式,使输出更美观。讲解了模型推理时的评估模式设置方法,并布置了调整模型超参数并对比效果的实践任务。

2025-05-24 23:23:51 479

原创 【python深度学习】Day34 GPU训练及类的call方法

类的call方法:为什么定义前向传播时可以直接写作self.fc1(x)GPU训练的方法:数据和模型移动到GPU device上。CPU性能的查看:看架构代际、核心数、线程数。GPU性能的查看:看显存、看级别、看架构代际。

2025-05-23 18:43:08 201

原创 【python深度学习】Day 33 简单的神经网络

1. 分类任务中,若标签是整数(如 0/1/2 类别),需转为long类型(对应 PyTorch 的torch.long),否则交叉熵损失函数会报错。这里定义一个简单的全连接神经网络模型,包含一个输入层、一个隐藏层和一个输出层。2. 回归任务中,标签需转为float类型(如torch.float32)。这已经是最简单最基础的版本了。查看显卡信息的命令行命令(cmd中使用)数据预处理(归一化、转换成张量)(1) 定义损失函数和优化器。3.模型训练(cpu版本)(0)准备数据、划分数据。(2) 转化数据类型。

2025-05-22 23:58:25 222

原创 【python进阶知识】Day32 官方文档的阅读

面对一个全新的官方库,借助官方文档的写法了解其如何使用。3. 官方文档:https://pdpbox.readthedocs.io/en/latest/1. GitHub 仓库:https://github.com/SauceCat/PDPbox。2. PyPI 页面:https://pypi.org/project/PDPbox/参考pdpbox官方文档中的其他类,绘制相应的图,任选即可。官方文档的阅读和使用:要求安装的包和文档为。官方文档的检索方式:github和官网。绘图的理解:对底层库的调用。

2025-05-21 23:13:01 233

原创 【python进阶知识】Day 31 文件的规范拆分和写法

命名参考:preprocess.py 、data_cleaning.py 、data_transformation.py。- 命名参考:eda.py 、visualization_utils.py。- 命名参考:load_data.py 、data_loader.py。- 命名参考:predict.py 、inference.py。- 模型评估:用合适指标评估模型在测试集上的性能,生成报告。- 命名参考:model.py 、train.py。- 模型训练:构建模型架构,设置超参数并训练,保存模型。

2025-05-20 23:04:16 247

原创 【python基础知识】Day30 模块和库的导入

学习python = 学习python基础语法 + 处理任务需要用到的库一、导入官方库的三种手段。

2025-05-19 23:17:17 399

原创 【python基础知识】Day29 类的装饰器

知识点回顾类修改器的逻辑:接收一个类,返回一个修改后的类。修改内柔如下:29天总结:1. Python基础语法-数据类型:列表、字典、集合、元组的使用- 循环语句 : for 循环(如累加1-100)、 while 循环- 条件语句 : if-elif-else 结构(如温度预警判断)- 函数定义 : def 关键字定义函数(如 debug_example() 函数) 类的定义:class - 字符串格式化 :f-string的使用(如 print(f"平均分数: {aver

2025-05-18 23:14:50 828

原创 【python基础知识】Day 28 类的定义和方法

calculate_perimeter():计算周长(公式:2×(长+宽))。is_square() 方法,判断是否为正方形(长 == 宽)。calculate_circumference():计算圆的周长(公式:2πr)。shape_type="rectangle":创建长方形(参数:长、宽)。calculate_area():计算圆的面积(公式:πr²)。shape_type="circle":创建圆(参数:半径)。calculate_area():计算面积(公式:长×宽)。

2025-05-17 23:28:09 179

原创 【python基础知识】Day 27 函数专题2:装饰器

func.__name__ :按照pep8的约定,在一个变量前后都加上两个下划线代表着这是一个Python内置的变量,是自动创建的。作用返回 func 的名称更详细的可以问AI。编写一个装饰器 logger,在函数执行前后打印日志信息(如函数名、参数、返回值)装饰器的思想:进一步复用。注意内部函数的返回值。

2025-05-16 23:17:12 843

原创 【python基础知识】Day26 函数

函数是一段具有特定功能的、可重用的语句组,用函数名来表示。在需要使用函数时,通过函数名进行调用。函数也可以看作一段具有名字的子程序,可以在需要使用它的地方进行调用执行,不需要在每个执行的地方重复编写这些语句。每次使用函数时,可以提供不同的参数作为输入,以实现对不同的数据处理;函数执行后,可以反馈相应的处理结果。函数能够完成特定的功能,与黑盒类似,对函数的使用不需要了解函数内部实现原理,只要了解函数的输入输出方式即可。严格地说,函数是一种功能的抽象。有些函数是python自带的,如print();

2025-05-15 22:34:31 1289

原创 【python机器学习】Day 25 异常处理

当程序在运行时遇到意外情况(即异常),程序不会直接崩溃,人们可以通过 try-except 优雅地处理这些错误,并可能继续执行后续逻辑(如果设计允许)或以可控的方式结束。借助ai写代码的时候,经常会遇到try-except的异常处理模块,这是因为大部分大模型在后训练阶段都是经过强化学习训练的,为了确保结果的正确运行,只有采取 try-except的异常处理模块才能提高模型运行成功的概率。在即将进入深度学习专题学习前,我们最后差缺补漏,把一些常见且重要的知识点给他们补上,加深对代码和流程的理解。

2025-05-14 21:02:16 210

原创 【python机器学习】Day24 元组和OS模块

对自己电脑的不同文件夹利用今天学到的知识操作下,理解下os路径。

2025-05-13 18:10:32 164

原创 【python机器学习】Day23 pipeline管道

ColumTransformer的核心# --- 定义不同列的类型和它们对应的预处理步骤 ---# 这些定义是基于原始数据 X 的列类型来确定的# 识别原始的 object 列 (对应你原代码中的 discrete_features 在预处理前)# 识别原始的非 object 列 (通常是数值列)# 有序分类特征 (对应你之前的标签编码)# 注意:OrdinalEncoder默认编码为0, 1, 2... 对应你之前的1, 2, 3...需要在模型解释时注意。

2025-05-12 22:22:09 1186

原创 【python机器学习】Day 22 复习总结

自行学习参考如何使用kaggle平台,写下使用注意点,并对下述比赛提交代码。仔细回顾一下之前21天的内容,没跟上进度的同学补一下进度。

2025-05-11 23:01:33 107

原创 【python机器学习】Day 21 降维方法总结

机器学习常见降维方法PCA主成分分析t-SNE(t-LDA线性判别Kernel LDA(核线性判别分析)---有监督、非线性。

2025-05-10 19:14:30 242

原创 【python机器学习】Day 20 特征降维---SVD奇异值分解

SVD (或其变种如 FunkSVD, SVD++) 可以用来分解这个矩阵,发现潜在因子 (latent factors),从而预测未评分的项。结构化数据中,将原来的m个特征降维成k个新的特征,新特征是原始特征的线性组合,捕捉了数据的主要方差信息,降维后的数据可以直接用于机器学习模型(如分类、回归),通常能提高计算效率并减少过拟合风险。在进行 SVD 之前,通常需要对数据进行标准化(均值为 0,方差为 1),以避免某些特征的量纲差异对降维结果的影响。线性代数可不必在意,推导可以不掌握,只关注输入输出即可。

2025-05-09 22:53:46 485

原创 【python机器学习】Day19 特征筛选算法

这里没有进行标准化和归一化,故此步骤可以跳过,仅是为了流程完整。对心脏病数据集完成特征筛选,对比精度。4.模型训练---基准模型。(2)皮尔逊相关系数筛选。(6)递归特征消除REF。1.读取数据、认识数据。(3)lasso筛选。(5)shap重要性。

2025-05-08 20:33:40 231

原创 【python机器学习】Day18 聚类后簇的含义

作业:参考示例代码对心脏病数据集采取类似操作,并且评估特征工程后模型效果有无提升。

2025-05-07 22:46:52 181

原创 【python机器学习】Day17 无监督学习---聚类

无监督聚类:前期准备,KMeans聚类、DBscan聚类、层次聚类

2025-05-06 22:44:17 472

原创 【python机器学习】Day 16 numpy库

SHAP 库能为几乎所有类型的机器学习模型提供解释,包括线性模型、树模型、神经网络等。通过计算每个特征对模型预测结果的贡献(即 Shapley 值),来解释模型的决策过程。从而帮助用户理解模型为什么做出这样的预测,哪些特征对预测结果的影响最大。

2025-05-05 22:11:38 358

原创 【python机器学习】Day15 自行寻找数据集

(4)网格搜索+交叉验证。(3)SMOTE过采样。

2025-05-04 23:38:56 296

原创 【python机器学习】Day13 SHAP 库

尝试确定一下shap各个绘图函数对于每一个参数的尺寸要求,如shap.force_plot力图中的数据需要满足什么形状?确定分类问题和回归问题的数据如何才能满足尺寸,分类采取信贷数据集,回归采取单车数据集。特征维度和使用SHAP库息息相关。今日作业偏思考类型,有一定难度。参考上述文档补全剩余的几个图。1.特征重要性条形图。2.特征重要性蜂巢图。

2025-05-03 22:39:03 330

原创 【python机器学习】Day 13不平衡数据处理

从示例代码可以看到 效果没有变好,所以很多步骤都是理想是好的,但是现实并不一定可以变好。这个实验仍然有改进空间,如下。1. 没做smote+过采样+修改权重的组合策略,有可能一起做会变好。针对上面这2个探索路径,继续尝试下去,看看是否符合猜测。不平衡数据集的处理策略:过采样、修改权重、修改阈值。2. 没有调参,有可能调参后再取上述策略可能会变好。(2)确定少数类标签(修改权重前一定要做)(5)修改权重后的模型,模型评估。(2)SMOTE过采样。

2025-05-02 16:02:33 282

原创 【python机器学习】Day12调参2---启发式算法

启发式算法概述,3种元启发式算法:模拟退火、遗传算法、粒子群算法

2025-05-01 21:53:57 1525 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除