目录
结构图
图像类型:
- Binary:黑白图(0-black,1-white)
- Gray Scale:灰度图(把白色和黑色之间按对数关系分为若干等级,称为灰度级,灰度分为256阶,用灰度表示的图-灰度图)
- Color:彩色图(三通道RGB,像素值0-255)
什么是线性分类器
线性分类器是一种线性映射,将输入的图像特征映射为类别分数。
线性分类器的矩阵表示
线性分类器的权重向量
- 权重看作是一种模版
- 输入图像与评估模版匹配程度越高,分类器输出的分数就越高
线性分类器的决策边界
f(X, W) = Wx + b=0--------就是决策面,W控制线的方向,b控制线的位移。向远离决策线的方向得分越高。(上图公式)
损失函数
如何评价分类器的好坏,效果。引出损失函数— what?
定义:损失函数搭建了模型性能与模型参数之间的桥梁,指导模型参数优化。
- 损失函数是一个函数,用于度量给定分类器的预测值与真实值的不一致程度,其输出通常是一个非负实值。
- 其输出的非负实值可以作为反馈信号来对分类器参数进行调整,以降低当前示例对应的损失值,提升分类器的分类效果。
多类支撑向量机损失
正则项损失
在一般损失函数后面加正则损失-λR(W),即:
L
(
W
)
=
1
N
∑
i
(
L
i
(
f
(
x
i
,
W
)
,
y
i
)
+
λ
R
(
W
)
L(W) = \frac{1}{N} \displaystyle\sum_{i}(L_i(f(x_{i} ,W),y_i)+λR(W)
L(W)=N1i∑(Li(f(xi,W),yi)+λR(W)
其中,正则损失:防止模型在训练集上学习的“太好”(过拟合)。
R(W)**是一个与权重与关,跟图像数据无关的函数。
λ-是一个超参数控制着正损失在总损失中所占的比重。
超参数是指在学习过程之前设置的参数,而不是学习得到的,超参数一般都会对模型有着重要的影响。
L0、L1、L2正则化
可能有问题,迷糊了
- L0正则化的值是模型参数中非零参数的个数。如果用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。换句话说,让参数W是稀疏的。
- L1正则化表示各个参数绝对值之和:
∣ ∣ x ∣ ∣ 1 = ∑ i = 1 n ∣ x i ∣ ||x||_1 = \sum_{i=1}^{n}|x_i| ∣∣x∣∣1=i=1∑n∣xi∣ - L2正则化-又叫“岭回归”(Ridge Regression)、“权值衰减”(weight decay),它的作用是改善过拟合。过拟合是:模型训练时候的误差很小,但是测试误差很大,也就是说模型复杂到可以拟合到所有训练数据,但在预测新的数据的时候,效果很差。L2范数标识各个参数的平方的和的开方值:
∣ ∣ x ∣ ∣ 2 = ∑ i = 1 n x i 2 ||x||_2 = \sqrt {\sum_{i=1}^{n}{x_i}^2} ∣∣x∣∣2=i=1∑nxi2
参考链接1
参考链接2
参数优化
定义:参数优化是机器学习的核心步骤之一,它利用损失函数的输出值作为反馈信号来调整分类器参数,以提升分类器对训练样本的预测性能。
L
(
W
)
=
1
N
∑
i
(
L
i
(
f
(
x
i
,
W
)
,
y
i
)
+
λ
R
(
W
)
L(W) = \frac{1}{N} \displaystyle\sum_{i}(L_i(f(x_{i} ,W),y_i)+λR(W)
L(W)=N1i∑(Li(f(xi,W),yi)+λR(W)
L
(
W
)
=
1
N
∑
i
=
1
N
(
L
i
+
λ
R
(
W
)
L(W) = \frac{1}{N} \displaystyle\sum_{i=1}^{N}(L_i+λR(W)
L(W)=N1i=1∑N(Li+λR(W)
目标:损失函数L是一个与参数W有关的函数,优化的目标是找到使得损失函数L达到最优的那组参数W。
更新权重W
###= 梯度计算
- 数值法-计算量大,不精确,易写
- 解析法-精确,速度快,导数函数推导易出错
优化方法
- 梯度下降算法
- 随机梯度下降算法
- 小批量梯度下降算法
小批量随机梯度下降算法-----是为梯度下降算法和随机梯度下降算法的结合。
梯度算法改进
对应课程07-全连接神经网络
![请添加图片描述](https://img-blog.csdnimg.cn/4342c85a01164c4c81def8332e60899c.png
权重初始化
- 全0初始化
- 随机权值初始化
- Xavier初始化
- HE初始化(MSRA)
- 好的初始化方法可以防止前向传播过程中的信息消失,也可以
解决反向传递过程中的梯度消失。- 激活函数选
择双曲正切或者Sigmoid时,建议使用Xaizer初始
化方法;- 激活函数选择ReLU或Leakly ReLU时,推荐使用He初始化方法。
应对过拟合
说明:PPT来自大佬Li Feifei.本文目的是,方便自己理解、查阅!