神经网络与深度学习（一）- Logistic Regression as a Neural Network

这个系列的文章都将是对于deeplearning.ai 开设的关于深度学习的相关课程的学习笔记，第一门课就是神经网络与深度学习。

本篇的内容和机器学习学习笔记中的某些章节有些重复，于是简单的地方就不过多赘述，同时呢也可以对照着来看，寻找联系和区别。在这里我们不再阐述神经网络的由来等，而是直接针对神经网络这种方法进行说明。

第一篇讲述内容如题，作为神经网络的逻辑回归。（由于博主比较懒，很多信息都在图里，文字内容主要是针对图里没有的内容，或是需要强调的内容，或是博主自己的见解）

Binary Classification

由二分类问题进行引入，在处理图像二分类问题时，通常我们将图像的所有通道的数值平铺成一个vector作为输入$x$。旨在运用将$x$输入网络后得到输出$y$来进行分类。

下图展示了惯常的对于输入输出的表示方式，在后面的课程中将会经常用到不再赘述，值得一提的是，通常 $x$ 表示为列向量（并非行向量）

Logistic Regression

对于分类问题运用逻辑回归的原因是我们希望得到的 $y$ 能够在0到1的范围内，这样就能与我们习惯的概率联系上，即越接近于1说明该图像是猫的可能性越大，于是我们判定它是猫，越接近于0则越不可能是猫。（线性回归$y$值的范围就不满足）

Logistic Regression Cost Function

Loss(error) function指的是针对一个样本的损失函数。
Cost function指的是考虑到所有样本的损失函数。
逻辑回归的损失函数不能使用最小二乘，因为最小二乘下的损失函数不满足凸函数性质，使得存在很多局部最优解。而逻辑回归的损失函数第一满足凸函数性质，第二定性分析也符合我们的期望。

Logistic Regression Gradient Descent

对于神经网络，首先是正向传播一次计算得出 $y$ 和 $L()$, 然后是反向传播运用链式法则计算出损失函数对于每个参数的偏导数。进而运用梯度下降算法进行参数更新。

在机器学习学习笔记中，我们直接对损失函数进行求导，并没有采用链式法则。采用链式法则更加清晰，同时也明白了对于输出层我们的所谓残差并不是直接定义出来的，也是通过求导求出来的（$a - y $）。
机器学习学习笔记中对于反向传播的公式非常复杂，是因为我们是针对多层复杂神经网络给出的规范表达式，这里的神经网络非常简单所以公式非常清晰。

Gradient Descent on m Examples

对于m个样本，每次参数更新我们需要遍历这m个样本进行求平均的运算。

下图为对于m个样本进行逻辑回归的步骤。

---