- 博客(16)
- 收藏
- 关注
RSS订阅原创 Pytorch学习笔记第十一课处理多维特征输入GoogleNet/ResNet
的具体形式如下图所示，作用是通过穷举的方式尝试每一种kernel_size组合，当某个卷积核效果突出的时候它的权重就会变大，其他的支路权重就会变小，以此来自动求出几条路线中最优的卷积组合。输入的图像数据为(batch_size, C, W, H)，经过Conv2d的时候只允许改变C的值，W、H的变化通过padding进行补偿。经过1x1的卷积核先对通道数进行压缩到16维，再重新扩张到32维，最后输出在。5*5的卷积核对应5*5的像素块分别进行一次运算5^2。一个192个通道的28*28的矩阵，在经过。
2023-11-23 10:34:35
68
原创 Pytorch学习笔记第十课卷积神经网络1/CUDA训练/卷积/池化/
上一节的多分类问题，使用的是全连接层，即中间所有的层都是线性层，输入输出关系一一对应。全连接层将一张图片按像素一行一行拼接展开为一维，损失了图片的空间结构数据输入一张彩色图片，图片是PIL类型数据，其具有三个参数(W,H,C)宽、高、通道数彩色图片为(Width,Height,3)表示RGB三通道灰度图片为(Width,Height,1)灰色图片只有一个通道将PIL转为Tensor数据类型的时候将会由(W,H,C)转化为(C,W,H)
2023-11-20 16:23:03
116
1
原创 Pytorch学习笔记第九课多分类问题CrossEntropyLoss和Softmax
前面提到的二分类问题是简单的判断是/否，通过Linear Layer将多特征的输入进行线性变化，最终变为一个输出，然后使用sigmoid函数将其变为一个分布在0~1之间的概率分布y_hat，可以以0.5为分界，将y_hat的结果分为是（>0.5）/否(<0.5)之前各自独立，我们希望他们的概率能同属于一个分布，所有P(y=i)≥0且所有的P(y=i)求和能等于1，那么所有概率中哪一类的概率最大，就可以说y_hat判断是哪一类，此时用到Softmax函数。
2023-11-17 22:20:28
173
原创 Pytorch学习笔记第八课加载数据集Dataset/DataLoader/enumerate()
是一个抽象类，不能直接使用，需要通过自定义class用子类继承。epoch就是循环epoch个Total_Batch。1、将原始数据集分为训练集和测试集。epoch 循环轮次。Batch-Size 批量大小。Iteration 几个批量。2、对训练集进行批量梯度下降。笔记来源，b站@刘二大人。是可实例化的，可以直接使用。函数，可有效替代for循环。3、评估测试集的准确率。这一讲没有过多新内容。
2023-11-16 11:38:12
129
1
原创 Pytorch学习笔记第七课处理多维特征输入
前面所学习的参数输入都只有一个维度的特征，如下图所示，左边是回归问题，右边是分类问题他们的特点是输入都只有一个维度特征。
2023-11-13 21:18:04
73
原创 Pytorch学习笔记第六课逻辑斯特回归sigmoid和BCELoss
在训练深度神经网络的过程中，我们需要通过反向传播算法计算每一个参数对损失函数的梯度，然后使用优化器更新参数，使得损失函数最小化。总结一下，optimizer.step()方法的作用是将每个参数的梯度和学习率等超参数结合起来，更新模型的参数，从而最小化损失函数。需要注意的是，每次调用step()方法之前，我们需要手动将每个参数的梯度清零，以避免梯度累加。从图像中可以看到，2h不合格，3h合格，当时间为x=2.5时候y=0.5，正好卡在合格和不合格之间。，计算的是相同输入下，y_hat和y输出的差值。
2023-11-10 21:36:03
145
原创 Pytorch学习笔记第五课Pytorch实现线性回归
self.linear是一个callable的对象，在forward中被调用，self.linear(x)，__init__()是这个class的构造函数，在初始化对象的时候调用的函数。x会直接传到forward中，开始计算y_pred = self.linear(x)使用Pytorch中的一些模块可以自动帮我们构建一些内容，不需要手工搭建网络。super调用父类的构造（模板，我也不知道这啥玩意）定义了class“类”，继承自nn.Module的父类。使用方式：model = LinearModel(x)
2023-11-04 15:56:57
38
1
原创 Pytorch学习笔记第四课反向传播
权重分别有w和b，当每一层的y作为下一层的x进行输入的时候，如图片中所示，每层权重参数最后都可以合并，导致分层变得无意义。L.bachward()进行反向传播，计算关于L的计算链上所有需要计算梯度的参数的梯度，此处为L关于w的梯度，即得到。按照老师的说法，每调用一次loss函数，就重新构造了一次计算图，通过计算图的计算步骤得到L。对每次更新后的w进行梯度清零，下次更新w将使用新计算的梯度，如果不清零将会累积。因为计算梯度需要消耗计算资源，对于需要计算梯度的参数需要手动开启梯度计算。
2023-11-03 21:40:18
33
原创 Pytorch学习笔记第三课梯度下降和随机梯度下降
SGD中每次权重的更新与上一次计算的权重相关，无法并行计算。通过随机取值的方式可以避开鞍点（梯度为0的点）笔记来源于B站up主，@刘二大人。寻找负梯度方向，是收敛的方向。随机梯度下降法SGD。
2023-11-03 15:12:57
30
原创 Pytorch学习笔记第二课线性模型
其中的zip(x_data,y_data)是把两者打包，对应位置的组合在一起，返回的是一个tuple。其中的np.meshgrid(w_col,b_col)将数据排列组合，变成了40行40列的数据。现在w依旧从0~4取值，对应b从-2~2取值，两者都40个点，共40*40=1600个点。的部分范围，在0~4之间取值，步进为0.1，相当于取40个点。在穷举的过程中，由于参数的增加，所需要的数据量多了一个维度。利用MSE均值平方损失，来得到真实的线性模型。所有可能的值，直到损失为0。不同的是，多了一个b参数。
2023-11-02 22:54:35
23
1
原创 Python关于函数的一些基本知识
在一个函数中调用调用另一个函数的时候，直接在参数位置写函数名，即可将函数作为参数调用。*args和**kwargs分别将参数打包为元组tuple和字典dict两种类型。这归功于函数也是对象，可以利用引用的规则来引用函数。二者的名字是公用的，也可以随便起，比如*a和**b。对于不知道具体函数的可以利用微分的定义来粗略求导。对于一些简单的、单次使用的函数，不需要再单独定义。lambda 参数,参数,...,参数: 函数。函数可以加入列表list，成为一个集合。使用lambda方法定义一个临时的函数。
2023-11-01 18:00:55
20
1
原创 Python字典类型
构建字典用 { }， 字典中是键值对，key-value，输入key可以查询到value。输出的dict_items，也是一个列表list，列表中的每个元素的键值对构成的元组。输出的dict_keys，是一个列表list，里面的内容是可操作的。输出的dict_values，也是一个列表list。构建list列表用 [ ]，列表内容是可以修改的。构建元组用 ( )， 元组内容是只读的。查看键值对中所有的值value。查看键值对中所有的键值对的方法。查看键值对中所有的键key。使用.keys()方法。
2023-11-01 14:58:29
24
1
原创 Python中for循环的几个基本使用
len()表示长度，len(scores)其中scores包含6个元素，故长度为6，range(6)是012345。range()表示范围，range(5)表示从0-5但是不包含5，即01234。zip(names, scores)，将names和scores打包。enumerate()表示给其中的参数创建对应的索引，并打包为元组。enumerate(scores,1) 可以指定索引开始的顺序为1。enumerate(scores)，将会为对应的分数赋予顺序索引。for循环的几类常用方式。
2023-10-31 22:16:08
37
1
原创 Python字符串类型数据的几个基本操作
将字符串类型更改为列表类型后，可以对其中的每一项进行修改。修改之后无法直接恢复原来的字符串类型，需要通过将列表中的每一项，一项一项组合在一起才能恢复。所有的字符串都是只读类型的，有时候需要将字符串转化为list列表格式，这样可以对字符串中的部分字符进行更改。字符串表示可以用.formate()替换{}中的内容，一些查找文件过程中常用的srt方法。字符串类型数据str。
2023-10-31 21:09:34
25
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人