Datawhale X 李宏毅苹果书 AI 夏令营第五期：深度学习进阶：task3学习笔记

最新推荐文章于 2024-10-10 11:54:20 发布

2301_80324436

最新推荐文章于 2024-10-10 11:54:20 发布

阅读量186

点赞数 1

文章标签：人工智能深度学习学习

本文链接：https://blog.csdn.net/2301_80324436/article/details/141868292

版权

最后一个task了，老规矩，不讲过多难懂的理论，目的是讲要点用更形象的语言总结。

交叉熵是一种更常用在分类上的损失计算方法，当我们做分类时，如果没有好的优化器，有非常大的可能性在使用均方误差的时候会训练不起来。所以需要改变损失函数

如果我们假设误差表面是一群山岭，那么批量归一化是一种可以把山铲平的方法。归一化的作用就是把所有数值批量化转为平均为0，方差为1的数据，所以能保证梯度下降过程中损失收敛更快训练更顺利

卷积神经网络是深度学习中极其广泛的网络架构，我们希望机器能够识别图片。那么我们首先分析图片，图片往往被描述是一个三维张量，长，宽，通道数量。什么是通道？

彩色图像的每个像素都可以描述为红色（red）、绿色（green）、蓝色（blue）的组合，这 3 种颜色就称为图像的 3 个色彩通道

有两种方式以供机器识别图像，一种是全连接层，一种是卷积层，当你用到卷积层时，这个架构就上卷积神经网络，

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

2301_80324436

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》

08-24

Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》

Datawhale X 李宏毅苹果书 AI夏令营进阶班选修笔记

09-03

运行结果

参与评论您还未登录，请先登录后发表或查看评论

Datawhale X 李宏毅苹果书 AI 夏令营第五期：深度学习进阶：task1学习笔记

2301_80324436的博客

08-27

477

对模型做误差，做梯度下降，就相当于我们评价一个历史人物，我们期望能够得到一个综合评分能够客观地衡量这个人物的一切，但是如果我们的评价维度越狭隘，比如说我们评价三国人物，我们只看战绩，谁打仗赢得多，谁的综合评分就高，那么这个误差就越容易找到局部极值，因为评价维度只有一个，直接把史料中记载的胜负比拿出来即可得到综合评分（仅军事维度），它的权重是单一的。举个例子，在三维空间里，局部极小/大值点的含义是某一个点，这个点不管是在x轴方向还是y轴方向，它在z轴的值都是一个极小/大值；

Datawhale X 李宏毅苹果书 AI 夏令营第五期：深度学习进阶：task2学习笔记

2301_80324436的博客

08-29

189

于是有一个解决方案是引入动量的方法，在物理学中，一个物体从高处滚下来会因为具有动量而具备惯性，也就是说，在模型优化过程里，先前的梯度下降如果很快，我们期望也能像物理世界的球一样具备惯性，使得梯度下降的时候不会落到第一个“坑”就不动了，所以参数更新时，我们加入动量的概念，帮助模型更容易找到全局最小值。但如果你的学习率很低，那你从高坡下山的效率就会很低，所以我们期望学习率要是可以在梯度下降的过程中自己变化就好了，刚下坡的时候一步十米，走着走着一步五米，最好可以慢下来，那么我们就引入了自适应学习率这个概念。

Datawhale X 李宏毅苹果书 AI夏令营 第五期 深度学习（进阶班）Task02 笔记分享

NantongHHQ的博客

08-31

1503

（MInimizing cross-entropy）等价于最大化可能性（maximizing likelihood）；）来进行表示：解决了某些class关系密切（在树值上），而另一些关系疏远；即使没有临界点（critical point），神经网络的训练也十分困难。通常人们认为训练卡住了是因为参数更新到一个临界值，梯度太小不更新了；：如class1对应数字“1”，class2对应数字“2”……MSE会在large loss的地方卡住，无法继续训练；近的梯度相较于远的梯度有着更大的影响。

Datawhale X 李宏毅苹果书 AI夏令营 第五期 深度学习（进阶班）Task03 笔记分享

NantongHHQ的博客

09-03

1862

汇聚操作面向滤波器产生的一组数字，自由地将数字分为若干组，最大汇聚就是从每一组中选出最大的那个数字。适用于batch size比较大的时候（如果batch size较小，无法计算出准确的。但是同一感受野的不同神经元是不能共享参数的（否则输入、参数相同，模型输出也相同）不需要Nerual去识别完整的图片——不需要输入整张图片，只需要将。同时，较多的参数也会使得模型更具有弹性，容易导致。）移动感受野的距离（不要太大），最好两两之间。不同神经元的感受野可以重叠，甚至可以相同；

Datawhale X 李宏毅苹果书 AI夏令营task1笔记

scipig_的博客

08-22

1871

本章主要介绍深度学习常见的一些概念，方便我们从不同的角度来更好地优化神经网络。

Datawhale X 李宏毅苹果书 AI夏令营 第五期 深度学习（进阶班）Task01 笔记分享

NantongHHQ的博客

08-27

696

epoch：将所有的批量训练一遍（shuffle after each epoch）而如果卡在了saddle point，还有可以逃离的路线。其中（gradient）g是一个向量（vector）满足。将训练数据分成多个批量，每次迭代时只应用一个批量的数据；大批量的不一定需要更多时间去计算梯度（并行运算的帮助）；而（Hessian）H是一个矩阵（matrix）满足。从经验的角度来看，局部最小值没有那么常见；的方向，就可以逃离鞍点，降低Loss。是H的一个特征向量，小批量的训练效果更好。前面所有梯度的加权和。

Datawhale X 李宏毅苹果书 AI夏令营(第五期-深度学习进阶) Task 3 学习笔记

qq_60533472的博客

08-29

1341

这篇论文就试了一些其他的方法，发现跟批量归一化表现也差不多，甚至还稍微好一点，这篇论文的作者也觉得批量归一化是一种偶然的发现，但无论如何，其是一个有用的方法。如果选择 sigmoid，比较推荐对 z 做特征归一化，因为 sigmoid 是一个 s 的形状，其在 0 附近斜率比较大，如果对 z 做特征归一化，把所有的值都挪到 0 附近，到时候算梯度的时候，算出来的值会比较大。但是假设系统上线，做一个真正的线上的应用，比如批量大小设 64，我一定要等 64 笔数据都进来，才做一次运算，这显然是不行的。

Datawhale X 李宏毅苹果书 AI夏令营(第五期-深度学习进阶) Task 1 学习笔记

qq_60533472的博客

08-25

638

本章介绍了深度学习常见的概念，理解这些概念能够帮助我们从不同角度来更好地优化神经网络。要想更好地优化神经网络，首先，要理解为什么优化会失败，收敛在局部极限值与鞍点会导致优化失败。其次，可以对学习率进行调整，使用自适应学习率和学习率调度。最后，批量归一化可以改变误差表面，这对优化也有帮助。

Datawhale X 李宏毅苹果书 AI夏令营(第五期-深度学习进阶) Task 2 学习笔记

qq_60533472的博客

08-26

586

这个版本里面有动量，其不是顺着某个时刻算出的梯度方向来更新参数，而是把过去所有算出梯度的方向做一个加权总和当作更新的方向。接下来的步伐大小为 m it / σ it。最后通过 ηt 来实现学习率调度。这个是目前优化的完整的版本，这种优化器除了 Adam 以外，还有各种变形。但其实各种变形是使用不同的方式来计算 m it 或 σ it，或者是使用不同的学习率调度的方式。

Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化

08-26

Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化

Datawhale X 李宏毅苹果书 AI夏令营入门班选修3

09-03

结果prediction

毒蘑菇检测数据集 9200张 14类毒蘑菇带标注 voc yolo

阿利同学的博客

10-07

1248

毒蘑菇检测数据集 9200张 14类毒蘑菇带标注 voc yolo

深度学习每周学习总结J1（ResNet-50算法实战与解析 - 鸟类识别）

qq_33489955的博客

10-04

1274

数据导入及处理部分：本次数据导入没有使用torchvision自带的数据集，需要将原始数据进行处理包括数据导入，查看数据分类情况，定义transforms，进行数据类型转换等操作。划分数据集：划定训练集测试集后，再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据，查看批处理维度.模型构建部分：resnet-50。

基于Keras的U-Net模型在图像分割与计数中的应用

深度学习实战训练营，一起交流探索深度学习

10-04

1620

网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。

线性判别器LDA