深度学习基础——Logistic 回归

        注：本文基于Python进行叙述，这是我跟着吴恩达老师的深度学习网课的学习经验与心得分享，如有理解不对或叙述不对的地方，欢迎讨论、批评和指正。

1.符号约定

        上述约定是为Logistic 回归做铺垫。

2.Logistic 回归

        不选均方误差作为损失函数是因为它是非凸的，不利于梯度下降，即容易出现局部极值。

3.梯度下降法

        上图中计算初始点的梯度（导数），近似看成面积，则：

        每次计算相当于减去学习率*三角形面积，越靠近最优值，减去的越少，最终到达最优值。综上，参数优化的梯度下降法部分如下：

4.算法流程

        构建神经网络主要分为四个部分：向前传播、计算成本、向后传播、更新权重。向前传播是指样本数据依次通过隐藏层、输出层，然后按照成本公式计算成本，若成本达到最小或迭代次数超过最大迭代次数时，网络计算结束；否则进行向后传播，依次求得成本函数的导数，更新各个线性层的权重矩阵，完成一次网络的迭代。然后重复上述操作，直到满足网络学习结束条件。