Deep Learning 学习系列001 —— 神经网络基本概念

前向神经网络的目标

估计某个函数f

几个基本概念
- 模型的深度
- 输出层
- 隐藏层
- 模型的宽度

现代神经网络的研究基于数学和工程上的准则，不再一味地模仿人的大脑。所以我们可以将前向神经网络看成函数逼近器，用来实现统计泛化。

线性模型将模型能力限制在线性函数中，为了将其进行扩展，可以使用Φ(x)将x进行非线性变换，然后对Φ(x)使用线性模型。
关于Φ(x)的选择：
1. 使用通用函数，如RBF核函数
2. 手动选择Φ
3. 使用深度学习的方法来学习Φ

其中第三种方法具有前两种的优点。