神经网络实验：万能函数拟合器

概述

都说神经网络是一个万能的函数拟合器，如何理解这句话呢？让我们做一些实验，去获取更直观的理解。
为了直观与方便理解，我们用神经网络去拟合一元函数，也就是$y=f(x)$

实验

1. 函数$y=x$

训练样本

如图所示：

• 蓝色点代表训练样本，它们都是从函数$y=x$中取样获得
• 橙色的直线代表神经网络所表示的函数，目前未训练，与样本偏离较大

思路

拟合一条直线，我们需要使用什么结构的神经网络去拟合它呢？为了理解透彻，我们需要理解单个神经元。

单个神经元的形式为：$y=\sigma (wx+b)$

• $w$和$b$为待确定的参数
• $\sigma$为激活函数

如果去掉