4.19-Brief introduction of deep learning&backpropagation

其实深度学习也是只有三个步骤，就像把大象塞进冰箱也只需要3步。但是这里的function就叫做neural network神经网络了，他一般是长这样的——红框所示，有箭头指进来的w·x，也有蓝色bias加进来的，然后套进一个sigmoid——一个红框就是一个neural，中间的图就是有四个神经元。

其实神经元之间可以有不同的连接方式，比如下面这个，每个sigmoid都连接了前面每一个的输出，这种就叫全连接。像现在这样只有框架没有具体的w和b的就只是structure。

下面的图可以看的更清楚，每一层里面的每一个sigmoid都左右全是全连，每一个sigmoid是一个neuron，一些名词的定义也在下图里面。

然后这里的参数都是从输入朝着正方形一直到输出，所以也叫feedforward前馈、正反馈网络。

下面看参数如何在层与层之间传递的，还是用全连接前馈网络举例。

从x到蓝色这一层，过去就会被乘w，然后加上b，在蓝色的地方套上sigmoid，整体就是a1，也就是橙色层的输入，然后再乘w加b套sigmoid，成为a2，一直到最后一层套完sigmoid就是y了。然后再最后一层的output layer其实也不是直接输出，而是会加一个softmax，暂时还不知是什么。

---

所以其实会发现在前面的基础上，deep learning其实不是很难的东西，但是由于今天的高速发展，出现了很多很复杂的function，也出现了各种各样的问题和解决方法，但其实深度学习的本质就是以上的三步。

个人觉得深度学习的深度可以体现在很多方面，比如可以有多个layer，每个layer可以有无数个neuron（fat learning），layer之间的连接方式也可以不一样，各层的激活函数可以不一样，更何况每层都有不同的w和b的参数不同。

所以今天的深度学习网络参数可能是上百万计的，那么在梯度下降时，每算一次grad，形成的向量都是百万维的，如何有效的计算这个向量，就出现了一个方法叫做backpropagation反向传播，他就是梯度下降，但是是更有效地。

其实backpropagation我没太听懂数学上的推导，我就听出来说反着来算会比正着算有效。