机器视觉学习笔记

文章内容部分源自北邮鲁鹏老师课上内容，侵删。

---

前言

之前学到损失函数的计算，以多类支持向量机损失为例。

---

一、简单回顾损失函数

损失函数公式：
$L=\frac{1}{N}{\sum }_i{L}_i(f(x_i,W),y_i)$
单样本的多类支持向量机损失：
$L_i={\sum }_{j\ne y_i}max(0,s_{ij}-s_{yi}+1)$
线性分类器：
$s_{ij}=w_j^T{x}_i+b_j$
问题一：多类支持向量机损失$L_i$的最大、最小值？
答：最大：无穷大，观察线性分类器的表达式，$s_{ij}$的值是不确定的可能是无穷大。
问题二：如果初始化w和b都很小，损失L是多少。
答：观察单样本多类支持向量机损失公式，假设w,b都是0，则$L_i$为类别数-1。
注意：可以使用这一点来判断自己编码是否正确，若设置w,b都为0,则输出的$L_i$一定是类别数-1
问题三：考虑所有类别（包括$j=y_i$），损失$L_i$会有什么变化？
答：+1
问题四：在计算总损失L时，如果用求和代替平均？
答：没有影响。
问题五：如果使用$L_i={\sum }_{j\ne y_i}max(0,s_j-s_{yi}+1{)}^2$
答：影响可能很大，因为假设有一个值时100，平方就成了10000，另一个值是0.01，就成了0.0001，区别会很大。

二、正则项与超参数

1.问题引入

假设：存在一个W使损失函数L=0，这个W是唯一的吗？

如上图所示，存在了两个分类器，使得对于通过一张照片的损失都为0。
那如何选择w1与w2呢？

2.引入正则项

超参数：
· 在开始学习之前设置的参数，不是学习得到的。
· 超参数一般都会对模型性能有重要影响。
上式中，假设$\lambda$ = 0 那么优化结果仅与数据损失有关，表现越好，优化效果越好。
假设$\lambda =\infty$ 优化结果与数据损失无关，仅考虑权重损失，此时系统最优解为W=0。

L2损失示例
样本：x=[1,1,1,1]
分类器1：$w_1=[1,0,0,0]$
分类器2：$w_1=[0.25,0.25,0.25,0.25]$
分类器输出：$W_1^{T}x=W_2^{T}x=1$,二者的数据损失是一样的。
假设$\lambda =1$,正则损失：$R(w_1)=1R(w_2)=0.25$
所以$w_2$总损失小

L2正则损失对大数值权值进行惩罚，喜欢分散权值，鼓励分类器将所有维度的特征都用起来，而不是强烈的依赖其中少数几维特征。也可以预防过拟合。

优化

什么是参数优化

参数优化是机器学习的核心步骤之一，它利用损失函数的输出值作为反馈信身来调整分类器参数，以提升分类器对训练样本的预测性能)

优化算法目标

损失函数L是一个与参数W有关的函数，优化的目标就是找到使损失函数L达到最优的那组参数W。
直接方法$\frac{\partial L}{\partial W}=0$

梯度下降算法

再更新

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。