看书第二节的线性模型,为了更好地预测未来的数据,我们可以从简单的直线函数转为更多转折的折线,同时,也可以用细密的折线来逼近任意形状的曲线。
我们用4段蓝色的跳跃函数(其实名字是hard sigmoid,即比较硬朗的S型曲线)相加生成需要模拟的红色曲线,注意蓝色折线的斜率和红线变化处斜率一致。
Sigmoid函数定义是,x趋于正无穷,y趋于c;
进一步,用sigmoid函数近似Hard Sigmoid,然后逼近图1.8中 的红色曲线
这样我们把y写成了很多sigmoid函数和形式,每个sigmoid函数都有3个参数c,b,w.
我们把这些参数全部合起来拼成新向量,然后只要对
的分量进行优化即可,优化的方法就是和以前一样,梯度下降。
为了更好的预测真实值,我们还可以把sigmoid函数一层套一层,下图中表示sigmoid函数(但是是把1.2.3蓝色曲线合并写的),这样得到的值即为a,我们把a当成新x再用新的sigmoid函数算一次,如此叠加。这样每一排称为一个隐藏层,随着层数深入,就是深度学习技术。
今天主要是看B站datawhale上李宏毅老师的21年的课程一起学的,老师讲的生动幽默,非常推荐!!感觉很有收获!