线性模型
把输入的特征乘上一个权重,再加上一个偏置,得到预测的结果,这样的模型称为线性模型(linear model),即:
分段线性曲线
然而线性模型过于简单,可能无法表征出和
中复杂的关系
简单的线性模型(蓝线)无论怎么改变和
,它仍然是一条直线,但是现实中的问题往往比较复杂,如红线一样。简单的线性模型无法构造红线,这种来自模型的限制称为模型的偏差,无法模拟真实情况。
因此,为了解决该问题,引入了sigmoid函数。
sigmoid函数的表达式为:,通过调整这里的
、
和
,就能构造不同的形状的sigmoid函数。
理论上,设定不同的跟
跟
,就可以制造不同的蓝色的函数,制造不同的蓝色的函数叠起来以后,就可以制造出不同的红色的曲线,就可以制造出不同的分段线性曲线,逼近各式各样不同的连续函数。
在这里,考虑3个sigmoid函数构造一个分段线性函数来举例,同时其中的特征也变为3个:、
、
。3个sigmoid函数就可以表示为
我们可以用矩阵跟向量相乘的方法,写一个比较简洁的写法。
原先简单的线性模型就转变如下:
该灵活性的函数的计算过程可视化如下所示
接下来要定义损失。之前是 ,因为
跟
是未知的。现在未知的参数很多了,再把它一个一个列出来太累了,所以直接用
来统设所有的参数,所以损失函数就变成
。损失函数能够判断
的好坏,其计算方法跟刚才只有两个参数的时候是一样的。