伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记

伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记

Task 06：批量归一化和残差网络；凸优化；梯度下降

微信昵称：WarmIce

批量归一化和残差网络

BN和ResNet都没什么特别好说的。

DenseNet久闻其名，但是一直没有细节了解过其实现。这一次大开眼界，原来文章里面那么密集的连线是由于concat导致的啊。

可以想象一下作者当初提出这个网络的时候是什么想的。第一，像ResNet那样子在skip之后使用加法直接把得到的特征和原特征相加会不会破坏好不容易搞出来的特征啊，要不还是concat吧。好，这是第一步，但是concat也有问题，你特娘的一直concat下去，这个网络可就太宽惹，不行不行雅蠛蝶。于是第二点来了，那就得想个办法啊，这就是所谓的过渡层，太暴力了，就直接1×1的卷积大幅削减通道数。我觉得这个作者就是这么想的，您觉得呢？

凸优化

这一节课先简单讲了一下梯度下降算法可能有的问题，其本质都是“梯度”这个东西造成的。

第一，局部最小值；二，鞍点；第三，梯度消失。

局部最小值可以用大步长来一定程度地缓解，鞍点我不太清楚，梯度消失的话，至少要保证能够人为控制的地方梯度要合理（比如loss函数）。

然后又讲了一下带限制条件的凸函数的优化问题，可以使用拉格朗日乘子法、添加惩罚项以及投影法进行解决。我感觉这一节课是科普课，因为其实东西往深处讲都贼难，但是都是浮于表面地提了几句，潦草收场而已。

梯度下降

中间有一段梦回《数值分析》。

总的来讲，还是没有学到什么特别印象深刻的。