神经网络和深度学习

ee>简单涉及神经网络的前向传播、反向传播以及如何训练神经网络参数等基础内容，对神经网络先有个大致了解。

---

---

关于神经网络(Neural Network)

神经网络种类：
- CNN卷积神经网络(Convolution Neural Network)：在图像领域经常用到；
- RNN递归神经网络(Recurrent Neural Network)：对于序列数据，如音频，常使用RNN;

由于语言，不论英语还是汉字字母，或者是单词，都是逐个出现的，所以语言是最自然的序列数据。因此常使用更复杂的RNNs。

结构化数据和非结构化数据：
- 结构化数据：意味着数据的基本数据库，有专门的数据告诉你相关的信息。
- 非结构化数据：如音频或想要识别的图像或文本中的内容。可能是图像中的像素值或文本中的单个单词。

激活函数：
最初神经网络常使用$Sigmoid$函数最为激活函数，但$Sigmoid$函数具有一个很明显的弊端，即在函数取值的两端，斜率非常小，这在使用梯度下降进行反向传播的时候会导致梯度会非常接近0，学习的速率会变得非常缓慢，参数更新很慢。
所以，为了改善这个问题，人们使用一个叫做$Relu$的函数（修正线性单元）：
1. $Relu$的梯度对所有输入为负值的都为0，所以梯度不会趋向于逐渐减小到0；
2. 在大于0的部分，$Relu$函数的梯度始终为1；

这样，就能使梯度下降算法运行的更快；

神经网络基础(Basics of Neural Nerwork)

二分类

一般输入神经网络的图片是由RGB三层不同值的矩阵组成的（如64*64*3），在使用神经网络对图片进行二分类操作时，往往将这三层矩阵的值展开放入一个列向量中（从第一层的第一行开始…）

如图所示，输入x是一个$(n_x,1)$维的向量；
当输入一个很大的样本集的时候，比如有m个样本，则此时，输入x就变成了一个$(n_x,m)$维的矩阵。
使用Python 的$X.shape$ 可以查看矩阵的规模，即 $X.shape = （n_x,m)$

逻辑回归

在前向传播过程中，要对一个输入特征向量X（$n_x$维向量）做出预测。
- 我们使用W作为逻辑回归的参数，它与输入特征向量x的维度相同，（也被称为特征权重）。
- b作为偏差，是一个实数。

所以首先做一个线性变换：$\hat y = w^Tx + b$
但是，对于二分类问题来说，仅仅线性变化并不能解决问题，我们需要一个介于0-1之间的预测值来对分类做出预测，因此，在这个基础上，可以再应用非线性激活函数来讲函数转换维非线性函数，如

$Sigmoid$函数：

$$Sigmoid = \dfrac{1}{1+{\rm e}^{-z}}$$

常将前面的先行函数部分作为z，即$z = w^Tx + b$作为非线性函数的输入；

逻辑回归的代价函数和梯度下降

为了训练逻辑回归模型的参数w和参数b，我们需要构建一个代价函数来计算得到的预测值与真实值之间的差距，从而通过动态调整参数w和b来降低这个差值；

前面知道模型的前向传播过程为：

$$z = wx + b\\ \hat y = a = \sigma(z) = \dfrac{1}{1+e^{-z}}$$

所以定义逻辑回归中损失函数（Loss Function）: $L(\hat y,y)$

$$L(\hat y,y) = -ylog(\hat y) - (1-y)log(1-\hat y)$$

• 当$y = 1$时，损失函数$L = -log(\hat y)$，若要损失函数L尽可能小，则预测值$\hat y$就要尽可能大，因为sigmoid函数取值[0,1]，所以预测值$\hat y$则会无限接近1。
• 当$y = 0$时，损失函数$L = -log(1-\hat y)$，若要损失函数L尽可能小，则预测值 y^