1.2 线性模型
线性模型:
对于之前的原始模型 y=b + wx1 并没有在拟合过程中表现得特别好,于是需要根据样本对其进行更新,得到更符合实际生活的线性模型
::这些模型都是把输入的特征 x 乘上一个权重,再加上一个偏置就得到预测的结果::
1.2.1 分段线性曲线
前段灵活性函数概述基本上可以用下列图来表示 (图片均来源于《深度学习详解》,侵删)
单个模型不能完全模拟。
或带有超参数(Sigmoid函数的数量也是一个超参数)
接着定义损失:L(w, b) --> L(θ);θ:某一组 W, b, cT, b 的值
“先给定 θ 的值,即某一组 W, b, cT, b 的值,再把一种特征 x 代进去,得到估测出来的 y,再计算一下跟真实的标签之间的误差 e。把所有的误差通通加起来,就得到损失”
————《深度学习详解》
然后进行梯度优化,对于前后俩θ作梯度比较,补上差值
回合(epoch)<--批量(batch)<--样本(example)__批量大小(batch size)
1.2.2 模型变形
修正线性单元(Rectified Linear Unit,ReLU)—— c ∗ max(0, b + wx1)
Sigmoid 或 ReLU 称为激活函数(activation function)
鄙人姑且认为ReLU偏向于单一模块的精准度
神经网络(neural network)神经元(neuron)隐藏层(hiddenlayer)残差网络(Residual Network,ResNet)
过拟合(overfitting)—— 反向传播(BackPropagation,BP)
1.2.3 机器学习框架
“我们会有一堆训练的数据以及测试数据如式 (1.30) 所示,测试集就是只有 x 没有 y。
训练集就要拿来训练模型,训练的过程是 3 个步骤。
1. 先写出一个有未知数 θ 的函数,θ 代表一个模型里面所有的未知参数。fθfθ(x) 的意思就是函数叫 fθfθ(x),输入的特征为 x,;
2. 定义损失,损失是一个函数,其输入就是一组参数,去判断这一组参数的好坏;
3. 解一个优化的问题,找一个 θ,该 θ 可以让损失的值越小越好。让损失的值最小的 θ 为θ∗,即
有了 θ∗ 以后,就把它拿来用在测试集上,也就是把 θ∗ 带入这些未知的参数,本来 fθfθ(x)里面有一些未知的参数,现在 θ 用 θ∗ 来取代,输入是测试集,输出的结果存起来,上传到Kaggle 就结束了。" ————《深度学习详解》
如有侵权,请私信删除,本文章非营利,仅作为个人学习笔记。