02-神经网络基础

一、从机器学习到神经网络

1. 两层神经网络 - 多层感知机

2. 浅层神经网络特点

（1）需要数据量小、训练速度快；
（2）对复杂函数的表示能力有限，泛化能力受到制约。
Kurt Hornik 证明了理论上两层神经网络足以拟合任意函数，而且过去没有足够的数据和计算能力，因此之前的神经网络没有做的Deeper，仅局限于浅层。

3. 多层神经网络（深度学习）

随着网络层数增加，每一层神经元学习到的是前一层神经元更抽象的表示。利用更抽象的特征来对事物进行区分，可以获得更好的性能。

**思考：以下网络结构有多少个参数？**👇

二、神经网络训练

1. 正向传播

正向传播（推断）是根据输入，经过权重、激活函数计算出隐层，将输入的特征向量从低级特征逐步提取为抽象特征，直到得