神经网络 心得

一.线性模型y=w*x+b --> 使用sigmoid作激活函数的模型

线性模型x,y始终是条直线关系，用多个sigmoid相加就可以表示x,y间任意曲线。

(这一个式子只表示一层中的一个神经元输入输出)

所以输入x先过一个 nn.Linear()再过 激活函数F.relu()

推广到多维x输入的情况下，X每一维是xi,我们要找出xi->y的函数形状，即xi,y的关系。

同一层的神经元每个都是一个F.relu()，并在输入下一层时求和。在近似xi->y的函数形状过程中，各个神经元F.relu()是被各维xi共用的，因为F.relu()本身固定，影响F.relu()模拟各种函数形状其实是x的weight在做。考虑xi,y的关系可以从偏导的角度想，求偏导后x其他维的weight被忽略，相当于单维的x->y。所以可以xi线性相加再过sigmoid来模拟任何函数多维X->y。