一.线性模型y=w*x+b --> 使用sigmoid作激活函数的模型
线性模型x,y始终是条直线关系,用多个sigmoid相加就可以表示x,y间任意曲线。
(这一个式子只表示一层中的一个神经元输入输出)
所以输入x先过一个 nn.Linear()再过 激活函数F.relu()
推广到多维x输入的情况下,X每一维是xi,我们要找出xi->y的函数形状,即xi,y的关系。
同一层的神经元每个都是一个F.relu(),并在输入下一层时求和。在近似xi->y的函数形状过程中,各个神经元F.relu()是被各维xi共用的,因为F.relu()本身固定,影响F.relu()模拟各种函数形状其实是x的weight在做。考虑xi,y的关系可以从偏导的角度想,求偏导后x其他维的weight被忽略,相当于单维的x->y。所以可以xi线性相加再过sigmoid来模拟任何函数多维X->y。