视频: 深度学习基本概念简介
线性模型限制及改进
线性模型(Linear Model)很多情况下具有局限性,这种Model的限制称为Model Bias。
因此需要更复杂的,更有弹性的Model。
红色的曲线可以看作是一个常数加上一组蓝色函数。
所有分段线性曲线都可以类似表示出来。
分段线性曲线表达
分段曲线可以用sigmoid曲线进行逼近
图中分段曲线成为Hard Sigmoid。
通过调整c、b、w可以制造各种不同形状的Sigmoid函数,进而逼近不同形状的分段曲线。
改变w会改变斜率,改变b会使Sigmoid function左右移动,改变c会改变高度。
因此,新模型可以表示为:
j表示的是feature,i表示的是sigmoid function的个数
机器学习步骤
定义未知参数
定义损失函数
首先给定一组参数(w,b,c的转置,b),带入feature,查看估计出的y,在计算与真实的label之间的差距e。
找最优解
梯度下降
有大N笔资料,随机分成N个
更新一次参数叫做一次update
把所有batch都看过一遍叫做一个Epoch。
更好区分update和epoch的例子
模型的变形
改变激活函数
ReLU(Rectified Linear Unit)
两个ReLU叠加起来就是Hard Sigmoid。
改变层数