深度学习笔记篇（一）VGG + 动量法

新开个坑，作为最近一直忙不写博客的一个补偿。

在笔记篇中，主要会以流水账（日记）的形式，觉得啰嗦的朋友可以关注我的后续篇节，有一些Project会单独拿出来说。

先讲个题外话。

因为经常需要更新github上老师的代码，于是很多人想要在本地与项目保持更新

通过 git pull <远程主机名> <远程分支>:<本地分支>语句合并更新一步到位

 

接下来在DL课上补了点知识

1. 感受野的计算

什么叫感受野呢，其实就是网络中中间层的节点受原始input中节点影响的程度。通俗点说，就是你曾曾曾曾曾曾曾曾祖父对你的遗传有什么影响。太高呢，没什么进化；太低呢，又不像是一个种的。接下来讲怎么计算

用N_RF表示第n层hidden的感受野（N_RF初始为这一层的kernalsize)

N-1_RF = N_RF * (N-1)_strides + (N - 1)_kernalsSize.

不断更新，直到N - 1等于0

2.VGG

最大的特点，通过数个构造相似的VGG_BLOCK, 每个BLOCK做类似地卷积和池化，使得channels翻倍，但是分辨率h,w都减半。

这样构造的特点是，整个模型每层参数计算的复杂度是一样的，由公式Cinput*Coutput*h*w(这里可能有问题）

 

3.SGD + Momentum(动量法）

动量法直观解释：

如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，