Neural Networks and Deep Learning （Week 1）

Logistic Regression as a Neural Network

Binary Classification

本周要学习的内容

• 不显式使用for循环处理m个训练样本
• 前向传播与反向传播

以Logistic Regression为例

逻辑回归是一个一种二元分类算法。课程举例：输入一张图片，算法输出0或1标签，指明图上是不是猫。

术语表

Deep Learning Course Notation

Logistic Regression

logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。
它们的模型形式基本上相同，都具有 $w^Tx+b$，其中$w$和$b$是待求参数，其区别在于他们的因变量不同，多重线性回归即$\hat{y}=w^Tx+b$。但这种形式对于二分类来说并不是好的算法，因为无法把输出值规定在 $[0,1]$ 内，来表示一个概率。
而logistic回归则通过函数 $L$ 将 $w^Tx+b$ 对应一个隐状态 $p$ ， $p =L(w^Tx+b)$ ，然后根据 $p$ 与 $1-p$ 的大小决定因变量的值。如果$L$是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。
Logistic函数曲线就是sigmoid曲线。其形式为：
$\sigma(z) = \frac{1}{1+e^{-z}}$
这是一种针对二分类问题的算法。

Logistic Regression Cost Function

为了优化逻辑回归模型的参数 $w$ 和 $b$ 需要定义一个代价函数。

Loss（error）function

适用于单一的优化实例。
形式为： L(