一个标量表示某个属性值,一般是float型,它经过系数“扭曲”之后,可能还会加上“偏置”参数,就是一个神经元的输入。
其中a1和b0都是可训练的,就是根据输出y1与标注数据的差值调整系数,进而使得系统输出与样本数据相似。这个调整方法叫“梯度下降”。
如果对y1的输出再加上非线性函数,那么整个神经网络表现出了非线性。
z1就是y1的非线性结果,这个非线性的函数有多种,包括sigmoid、ReLU等等。
而如果输入不单单包括x1,还有x2、x3……,那么就有多个神经元与之对应。
这个时候,某个输入,得出
这是最基本的神经网络。