深度学习与神经网络-吴恩达（Part1Week2）-Logistic Regression编程实现（python）

一、Logistic Regression 基本网络结构

可以看到 Logistic Regression的网络结构相对比较简单，主要包括：输入层（用于单样本数据x1,x2,x3...的输入）和输出层（单个神经元），输入层和输出层之间是有权重连接的，这里相当于对输入数据做一个线性变换进而得到输出层的输入。值得注意的是，输出层是包含激活函数的，对于Logistic Regression其激活函数一般是sigmoid函数，形式为g(z)=1/(1+exp(-z))，用于对神经元的输入数据进行非线性映射，将最终结果的值映射到合理的范围内。

二、Forward Propagation——损失函数

Logistic Regression一般包括两个过程，正向传播（Forward propagation）和反馈传播（Backward propagation）。

正向传播即根据输入数据逐步计算初始的z1,a1以及衡量最终结果好坏的损失函数L(a1,y)。上图中，x1,x2表示单个样本的特征属性，w1,w2表示每个输入与神经元之间的权重，b表示神经元的偏置（bias），z1表示神经元的输入，a1表示z1经过非线性映射后的结果。

具体过程如下图所示：