人工智能教程 - 学科基础课程2.6 - 机器学习导论 9.神经网络,前向传播,多元分类

线性分类的局限

特征量巨大时，无法表现良好或过拟合

而神经网络，它在学习复杂的非线性假设上被证明是一种好得多的算法，即时输入特征空间或 n 很大，也表现良好

---

神经网络起源 origin

最初产生的目的是制造出能模拟大脑的机器。

逻辑单元

神经元模拟成逻辑单元

神经网络中， 使用S形(sigmoid)或者(逻辑 logistic) 激活函数的人工神经元,一般用g(z)表示，之前的$\theta$神经网络中叫权重weight

3层的神经网络

• 第一层为输入层(Input Layer): 输入特征
• 中间层为隐藏层(Hidden Layers), 一般可能不止一个
• 最后一层为输出层(Output Layer）

标记法

用于帮助描述模型：

前向传播 FORWARD PROPAGATION

Step:

1. 从输入层的激励开始
   start form the activations of the input layer

2. 向前传播到隐藏层

3. 最后到达输出层

可以把隐藏层里的cell看成更为高级的特征值，它们可以比多元方程可以更好的预测数据。

---

单层神经元的计算可用来逻辑运算来表示，eg.逻辑与(AND),或(OR)。

多元分类

多输出单元

Multiple output units: One-vs-all