- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度学习之Resnet代码详解（pytorch）（四）
注：对layer1层剩余两个block间的跳跃无需进行卷积采样，因为第一个block的输出为56x56x256与第二个block块的的输出是相同尺寸的。下面是resnet代码构建好的残差网络，利用矩阵验证的输出。对于resnet50 来说，值得注意的点。layer3，layer4同layer2。
2024-10-07 20:48:27
503
原创 对Resnet残差网络的想法
在深度神经网络中，较浅的层负责提取低级特征（如边缘、纹理），而随着网络的加深，后面的层则负责提取更高级、抽象的特征。对于某些深层次的特征表示，层与层之间的变化可能较小，只需对前面的特征做一些微调，而不是进行大规模的特征转换。ResNet 引入残差连接后，让模型默认“每层输出接近输入”的假设成立，网络如果不需要学习复杂的映射，可以通过残差连接直接传递输入，从而避免退化现象。在这种情况下，假设某些层学习的映射接近于恒等映射是合理的，因为这时模型只需要对已有的特征进行精炼，而不必完全重新构建特征。
2024-10-06 18:00:13
429
原创 GoogleNet网络里InceptionV1网络中3a模块的实现（三）
下图为2014年ImageNet-2014竞赛第一网络GoogleNet的V1版本原论文的结构图。Inception block主要有两个重点：1x1卷积与多尺度并行卷积组合。利用随机数构建相应维度的张量输入，可以得到输出与原论文256个通道一致。下面以结构里的第一个inception模块3a为例子搭建网络。输入为1x192x28x28。
2024-10-06 14:13:49
482
原创 torch中的展平操作
在forward当中可使用自动降张量转为二维，且第一个参数是64，填写-1自动计算剩余的。在nn.Sequential当中使用可将（64,3,3,3）展平成（64,27）输入。2.x = x.view(64, -1) # -1 ="784"得到（64,784）
2024-10-05 14:49:24
121
原创 深度学习基础之Datasets手写体数据集的卷积网络训练（二）
意思是矩阵形状不匹配，检查后发现是batchsize的设置问题，该手写体测试样本为60000个，设置的size=64，在一个epoch下面会剩下 （60000/64=937+32）32个图片，于是在卷积最后一层会输出32x4x14x14的张量，在经过前向传播view展平后会reshape成（64,392）的张量，与下层线性层要求输入的784的维度不符，报错。书写十张0-9的图片，然后进行格式的转换，利用训练好的模型进行按顺序遍历预测。3.图片的数字与label是对应的，采用训练25次后保存的权重数据。
2024-10-04 18:36:28
1085
原创 对标准化BN的一些想法
一般的深度神经网络都要求输入变量在训练数据和测试数据上的分布是相似的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。：BN的标准化过程的主要目的是消除内部协变量偏移，确保每一层的输入数据在训练过程中保持相对稳定的分布。：通过标准化，BN层强制输入数据的均值为0，方差为1，而重构则允许模型通过学习合适的参数，恢复特定的特征分布。：尽管标准化看似在“压缩”数据，但通过重构，BN层实际上是在“扩展”模型的能力，让它可以在标准化的基础上进一步调整输出，达到更好的学习效果。
2024-09-27 22:02:44
484
原创 深度学习基础之numpy与pandas了解（一）
其次，张量类支持自动微分。Numpy的array和Python的List的一个区别，是它元素必须都是同一种数据类型，比如都是数字int类型，这也是Numpy高性能的一个原因.df.dropna(axis="columns",how='all',inplace=True) 删除了全是空值的列。df.dropna(axis="index",how='all',inplace=True) 删除了全是空值的行。ndim：一个数字，表示array的维度的数目--------可选一维,二维,三维等。
2024-09-18 20:53:45
2056
原创 安装pytorch_lightning报错的问题
再 conda list 即成功安装，由于之前torch是pip 安装，所以需要lightning 也是pip，否则会把你辛苦安装的torch给替换卸载。感觉是代理什么的问题，然后把梯子关了，修改一下安装版本，成功安装。在conda命令行使用pip安装有如下错误。于是借鉴经验，定位到文件夹，删除改文件夹。
2024-09-15 22:22:32
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人