深度学习入门02#Datawhale X 李宏毅苹果书 AI夏令营

  1. 线性模型

这些模型都是把输入的特征 x 乘上一 个权重,再加上一个偏置就得到预测的结果,这样的模型称为线性模型

分段线性曲线

Hard Sigmoid 函数的特性是当输入的值,当 x

的值小于某一个阈值(某个定值)的时候,大于另外一个定值阈值的时候,中间有一个斜坡。

所以它是先水平的,再斜坡,再水平的。所以红色的线可以看作是一个常数项加一大堆的蓝

色函数。常数项设成红色的线跟 x 轴的交点一样大。常数项怎么加上蓝色函数后,变成红色的这一条线? 蓝线 1 函数斜坡的起点,设在红色函数的起始的地方,第 2 个斜坡的终点设在第一个转角处,让第 1 个蓝色函数的斜坡和红色函数的斜坡的斜率是一样的,这个时候把 0+1 就可以得到红色曲线左侧的线段。接下来,再加第 2 个蓝色的函数,所以第 2 个蓝色函数的斜坡就在红色函数的第一个转折点到第 2 个转折点之间,让第 2 个蓝色函数的斜率跟红色函数的斜率一样,这个时候把 0+1+2,就可以得到红色函数左侧和中间的线段。 接下来第 3 个部分,第 2 个转折点之后的部分,就加第 3 个蓝色的函数,第 3 个蓝色的函数坡度的起始点设的跟红色函数转折点一样,蓝色函数的斜率设的跟红色函数斜率一样,接下 来把 0+1+2+3 全部加起来,就得到完整红色的线所以红色线,即分段线性曲线可以看作是一个常数,再加上一 堆蓝色的函数。分段线性曲线可以用常数项加一大堆的蓝色函数组合出来,只是用的蓝色函

数不一定一样。要有很多不同的蓝色函数,加上一个常数以后就可以组出这些分段线性曲线。

如果分段线性曲线越复杂,转折的点越多,所需的蓝色函数就越多。

模型变形

其实还可以对模型做更多的变形,不一定要把HardSigmoid换成SoftSigmoidHardSigmoid可以看作是两个修正线性单元的加总,ReLU的图像有一个水平的线,走到某个地方有一个转折的点,变成一个斜坡,其对应的公式为

cmax(0,b+wx1)

深度学习的训练会用到反向传播,其实它就是比较有效率、算梯度的方法。

机器学习框架

1. 先写出一个有未知数 θ 的函数,θ 代表一个模型里面所有的未知参数。fθ(x) 的意思就 是函数叫 fθ(x),输入的特征为 x,2. 定义损失,损失是一个函数,其输入就是一组参数,去判断这一组参数的好坏; 3. 解一个优化的问题,找一个 θ,该 θ 可以让损失的值越小越好。让损失的值最小的 θ θ ,即 θ = argmin 有了 θ 以后,就把它拿来用在测试集上,也就是把 θ 带入这些未知的参数,本来 fθ(x) 里面有一些未知的参数,现在 θ θ 来取代,输入是测试集,输出的结果存起来,上传到 Kaggle 就结束了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值