线性分类器

最新推荐文章于 2022-05-08 14:33:37 发布

xiaoranone

最新推荐文章于 2022-05-08 14:33:37 发布

阅读量2.2k

点赞数 1

分类专栏：机器学习笔记深度学习笔记文章标签：线性分类器 SVM softmax

本文链接：https://blog.csdn.net/fool_ran/article/details/74079603

版权

本文详细介绍了线性分类器的概念，包括线性得分函数、损失函数，重点讨论了多分类支持向量机（SVM）和Softmax分类器。通过对比SVM的hinge loss与Softmax的交叉熵损失，阐述了它们在分类任务中的差异。线性分类器具有不需要存储训练数据、高效预测等优点，而SVM和Softmax分别提供了不同的优化目标和损失函数，适用于不同的场景。

摘要由CSDN通过智能技术生成

线性分类器
主要内容：
线性分类器简介
线性得分函数（Linear score function）
解释线性分类器
损失函数
多分类支持向量机
Softmax分类器
SVM vs Softmax
总结
线性分类器（Linear Classification）
在上一节中，我们介绍了图像分类问题，并给出kNN方法，但是kNN有一些缺点，
1、必须存储所有的训练数据，
2、预测时花费的代价大
现在，我们开发一个更加强大的方法，以至于一步一步达到神经网络和卷积神经网络。这个方法有两个主要的问题：
1、得分函数(Source function): 每一行数据在每一类的得分
2、损失函数（loss function）：量化预测值和真实值之间的一致性
解决这两部之后，将其转化成一个最优化问题，通过最小化损失函数（loss function）来得到得分函数(Source function)的参数。
从图片到标签值得分的参数映射
这里写图片描述
线性分类器：是最简单的一个线性函数，可以让我们使用。

需要提到的小问题：

3、这个方法的优点（相对kNN）是一旦得到参数W，b不用存储训练数据，而且预测图片分类时，更加有效率。
伏笔：之后要提到的卷积神经网络和这个方法类似，也是映射每一个图片到每一类的得分，只是映射f更加复杂，参数更多。
线性分类器的解释：
将