深度学习每日学习0806--002

损失函数=数据损失+正则化惩罚项；

前向传播：得到损失值；

反向传播（梯度下降）

链式法则：梯度是一步一步传播的； 

神经网络整体架构：

层次结构、神经元、全连接、非线性

激活函数：

数据预处理：

中心化->归一化

过拟合：

drop-out：为了解决过拟合问题，在训练过程中，在每一层随机的选择一部分神经元不参与训练，

；

神经网络计算过程目标：找出最适合当前计算过程的权重参数：

卷积神经网络

输入层：

卷积层：提取特征，

池化层：压缩特征

全连接层：

输出层：输出概率

卷积层涉及参数：滑动窗口步长、卷积核尺寸、边缘填充、卷积核个数；

步长：步长越小，特征丰富越细腻；步长越大，特征越大；一般为1

卷积核：一般3*3；

边缘填充：eg.矩阵外一圈/两圈添加全0或全1；

卷积核个数：取决于最终要生成多少特征图；

卷积结果计算公式

其中w1、h1表示输入的宽度、长度；w2、h2表示输出特征图的宽度、长度；F表示卷积核长和宽的大小；S表示滑动窗口的步长；P表示边界填充（加几圈0）；

经过卷积操作后也可以保持特征图长度宽度不变；

卷积参数共享：