Datawhale X 李宏毅苹果书 AI夏令营(第五期) Task 2 学习笔记

1.2 线性模型

线性模型：

        对于之前的原始模型   y=b + wx1 并没有在拟合过程中表现得特别好，于是需要根据样本对其进行更新，得到更符合实际生活的线性模型

：：这些模型都是把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果：：

1.2.1 分段线性曲线

前段灵活性函数概述基本上可以用下列图来表示 (图片均来源于《深度学习详解》,侵删)

单个模型不能完全模拟。

或带有超参数(Sigmoid函数的数量也是一个超参数)

接着定义损失：L(w, b)  --> L(θ)；θ：某一组 W, b, cT, b 的值

“先给定 θ 的值，即某一组 W, b, cT, b 的值，再把一种特征 x 代进去，得到估测出来的 y，再计算一下跟真实的标签之间的误差 e。把所有的误差通通加起来，就得到损失”  

                                                                                                                ————《深度学习详解》

然后进行梯度优化，对于前后俩θ作梯度比较，补上差值

回合（epoch）<--批量（batch）<--样本（example）__批量大小（batch size）

1.2.2 模型变形

修正线性单元（Rectified Linear Unit，ReLU）——  c ∗ max(0, b + wx1)

Sigmoid 或 ReLU 称为激活函数（activation function）

鄙人姑且认为ReLU偏向于单一模块的精准度

神经网络（neural network）神经元（neuron）隐藏层（hiddenlayer）残差网络（Residual Network，ResNet）

过拟合（overfitting）—— 反向传播（BackPropagation，BP）

1.2.3 机器学习框架

“我们会有一堆训练的数据以及测试数据如式 (1.30) 所示，测试集就是只有 x 没有 y。

训练集就要拿来训练模型，训练的过程是 3 个步骤。

1. 先写出一个有未知数 θ 的函数，θ 代表一个模型里面所有的未知参数。fθfθ(x) 的意思就是函数叫 fθfθ(x)，输入的特征为 x，；

2. 定义损失，损失是一个函数，其输入就是一组参数，去判断这一组参数的好坏；

3. 解一个优化的问题，找一个 θ，该 θ 可以让损失的值越小越好。让损失的值最小的 θ 为θ∗，即

有了 θ∗ 以后，就把它拿来用在测试集上，也就是把 θ∗ 带入这些未知的参数，本来 fθfθ(x)里面有一些未知的参数，现在 θ 用 θ∗ 来取代，输入是测试集，输出的结果存起来，上传到Kaggle 就结束了。"                                                                               ​​​​​​​        ​​​​​​​        ​​​​​​​        ————《深度学习详解》

如有侵权，请私信删除，本文章非营利，仅作为个人学习笔记。