吴恩达深度学习笔记——DAY1

第一天

一、ReLU 激活函数

全称是 Rectified Linear Unit。rectify（修正）可以
理解成马修（0,x），从趋近于零开始，然后变成一条直线。

二、神经网络的监督学习

在监督学习中你有一些输入x，你想学习到一个函数来映射到一些输出y。

1.提到的几种神经网络的用处

图像应用：卷积（Convolutional Neural Network），缩写CNN。
序列数据：种递归神经网络（Recurrent
Neural Network），缩写RNN，如音频处理。

2.神经网络的突破

神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU函数。

使用 sigmoid 函数和机器学习问题是，在这个区域，也就是这个 sigmoid 函数的梯度会接近零，所以学习的速度会变得非常缓慢，因为当你实现梯度下降以及梯度接近零的时候，参数会更新的很慢，所以学习的速率也会变的很慢，而通过改变这个被叫做激活函数的东西，神经网络换用这一个函数，叫做 ReLU 的函数（修正线性单元），ReLU 它的梯度对于所有输入的负值都是零，因此梯度更加不会趋向逐渐减少到零。通
过将 Sigmod 函数转换成 ReLU 函数，便能够使得一个叫做梯度下降（gradient descent）的算
法运行的更快。

二、神经网络的监督学习

在神经网络的计算中，通常先有一个叫做前向暂(forward pause)或叫做前向传播(foward propagation)的步骤，接着有一个叫做反向暂停(backward pause) 或叫做反向传播(backward propagation)的步骤

1.二分类(binary classification)

逻辑回归(logistic regression)：逻辑回归是一个用于二分类(binary classification)的算法。这里有一个二分类问题的例子，假如你有一张图片作为输入，比如这只猫，如果识别这张图片为猫，则输出标签 1 作为结果；如果识别出不是猫，那么输出标签 0 作为结果。
了保存一张图片，需要保存三个矩阵，它们分别对应图片中的红、绿、蓝三种颜色通道，分别对应图片中红、绿、蓝三种像素的强度值。在二分类问题中，我们的目标就是习得一个分类器，它以图片的特征向量作为输入，然后预测输出结果y为 1 还是 0，也就是预测图片中是否有猫。x：表示一个nx维数据，为输入数据，维度为(nx, 1)；
y：表示输出结果，取值为(0,1)；
(x(i), y(i))：表示第i组数据，可能是训练数据，也可能是测试数据，此处默认为训练数据；
X=[x(1),x(2)…x(m)]:表示所有的训练数据集的输入值，放在一个nx× m的矩阵中，其中m表示样本数目;
Y =[y(1), y(2)… , y(m)]:对应表示所有训练数据集的输出值，维度为1 ×m。

三、逻辑回归(Logistic Regression)

对于二元分类问题来讲，给定一个输入特征向量x，它可能对应一张图片，你想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，你想要一个算法能够输出预测，你只能称之为少，也就是你对实际值y 的估计。更正式地来说，你想让y帽表示y等于1的一种可能性或者是机会，前提条件是给定了输入特征X。y帽应该在 0 到 1 之间，逻辑回归的输出函数如下：

损失函数又叫做误差函数，用来衡量算法的运行情况，逻辑回归中用到的损失函数如下：

损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m，在训练逻辑回归模型时候，我们需要找到合适的w和b，来让代价函数 J 的总代价降到最低。代价函数如下: