线性分类(svm/softmax)/损失函数/优化

f(x,W)=Wx + b

W:所有训练中的经验都存在W中
bias:他不与训练数据交互,而只会给我们一些数据独立的偏好值。
(例如,数据集的不平衡带来的差异 )

优点:易于使用和理解
缺点:难于解决多分类问题,在多模态数据中,比如一个类别出现在不同的领域空间中

cs231n 线性分类

损失函数:定量的评价W的好坏

SVM 向量机(二元向量机,支持向量机,多分类向量机)

多分类向量机的损失函数
(x轴是真实分类的分数,y轴是损失函数,当真实分类的分数达到了一定的阈值后,损失函数为0,相当于预测对了分类)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(损失函数选,平方还是 折页损失(hinge loss),取决于实际应用)
(我们选择跳过真实分类的那个样例,这样损失函数最小即为0)
(如果我们将权值加倍,为了让损失函数为0,正确与不正确的边际值也应该加倍)
(为了防止过拟合,我们往往加上一个正则项来让模型变的简单,泛化性能更高。奥卡姆剃刀:如果有多个可以解释观察结果的假设,一般来讲我们应该选择最简约的,这样可以在将来解释新的观察结果)
在这里插入图片描述
λ\lambda是超参数,用于平衡数据丢失项和正则项,这三项是为了让回归曲线尽量直(降低模型幂次,依然可以逼近复杂模型的效果)。

不同分类分值之间的边界的具体值(即超参数取的过大或过小)是没有意义的,因为权重自己就可以控制差异变大和变小,真正的权衡是我们允许权重变大到何种程度(通过正则化强度λ\lambda来控制)

在这里插入图片描述
L1和L2
L1度量复杂度的方式有可能是非0元素的个数,即惩罚项更依赖其中少数几个维度。
L2更多考虑的是W的整体分布,惩罚倾向于更小更分散的权重向量,鼓励分类器将所有维度上的特征都用起来,提升泛化能力,避免过拟合。

可以对大数值进行权重惩罚,可以提升其泛化性能,意味着没有哪个维度能够独自对于整体分值有过大的影响。

SVM及其损失函数

softmax classifier(Multinomial logistic regression)多项逻辑回归

在这里插入图片描述
损失函数:真实类别概率的对数再取负值
(我们希望概率趋近于1,log是一个单调函数,如果我们要找最大,只要使概率最大就可以了,但是损失函数是用来度量坏的程度,所以加个负号)
在这里插入图片描述
在这里插入图片描述
KL散度,最大似然估计

在这里插入图片描述

在这里插入图片描述

Softmax分类器

©️2020 CSDN 皮肤主题: 程序猿惹谁了 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值