吴恩达机器学习笔记（6）——神经网络（Neural Networks）

一、非线性假设（Non-linear hypotheses）

非线性假设采用神经网络的原因：当我们对如下数据进行使用非线性回归分类时，我们可以使用包含很多非线性项的逻辑回归函数，来回归分类。下面是只有X1, X2两个特征的逻辑回归函数。

但是，如果数据包含上百个特征时呢？例如包含上百个特征的房屋分类问题，或者图像识别领域。我们要处理million级别的数据。

---

---

---

二、神经元和大脑（Neurons and the Brain）

1、神经网络的起源：模仿人类大脑。最早起源于1980~1990。最近又再次兴起。
2、大脑：将大脑中听觉皮层与耳朵之间的神经连接切断，并且将听觉皮层与眼睛相连，结果发现听觉皮层可以“看到”东西。这说明，统一的学习算法是可能实现的。

---

---

---

三、模型表示（Model Representation）

1、模型展示1：

首先让我们看看大脑的神经元的构成：

图中的神经元是一个基本的运算单元，它由电信号获取输入（树突），并且计算后给出输出（轴突）。

在实现人工神经网络里，我们使用一个很简单的模型来模拟神经元的工作。我们把神经元模拟成一个逻辑单元。有时候我们添加​x0=1​，称作偏置单元（bias unit）。

通常我们称之为带有sigmoid或者logistic激活函数的人工神经元。其中的激活函数（activation function）是指代非线性函数g(z)的另一个术语。θ为模型参数，也被称作权重（weight）

实际中，神经网络其实就是一组神经元连接在一起的集合。每个橘色圆圈代表一个神经元。第一层叫做输入层，第二层叫做隐藏层（这一层是由输入层的数据加权组合后重新映射成的），第三层叫做输出层，

为了表示出运行的步骤，我们把隐藏层的节点或者说中间节点，称作“激活单元”（activation units），并且有如下符号：

那么计算过程可表示为如下：

2、模型展示2（向量化）

将上图写为向量化形式，并定义一个变量z为，则：

那么，h（x）为：

这个过程同时也被成为前向传播（forward propagation）

---

---

---

四、例子

1、逻辑“与（AND）”的计算
设：

则构建一个函数为：

当：

成功实现了AND的计算。

逻辑“或（OR）”的运算
同上，只是权重矩阵为：

2、XNOR的计算：
用AND \NOT AND\OR三个构建：

---

---

---

五、 多类别分类问题

要在神经网络里实现多类别分类问题，采用的方法本质上是一对多法的拓展。