July深度学习之一、线性分类器与损失函数

最新推荐文章于 2023-06-04 20:00:23 发布
最新推荐文章于 2023-06-04 20:00:23 发布
阅读量2.1k 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunpeng19960715/article/details/53608391
版权
本文探讨了图像识别的困难，介绍了K最近邻法及其存在的问题，如K值选择和效率低下。接着转向线性分类器，解释了线性分类器的构造，特别是Wx+b得分函数，并提供了两种理解方式。最后，讨论了损失函数的重要性，包括hinge loss和互熵损失，指出在CNN和softmax分类器中常用互熵损失的原因。
摘要由CSDN通过智能技术生成

July深度学习之线性分类器与损失函数

一、图像识别困难之处

1.  视角不同：每个事物旋转或者侧视最后的构图都完全不同
2.  尺寸大小不统一：相同内容的图片也可大可小
3.  变形：很多东西处于特殊的情形下，会有特殊的摆放和形状
4.  光影等干扰/幻象
5.  背景干扰
6.  同类内的差异(比如椅子有靠椅/吧椅/餐椅/躺椅...)

二、K最近邻法

找到训练集中最近的N个，以它们中最多的类别为结果

所以K近邻算法需要衡量样本之间的距离，那么距离如何衡量呢？
一般有以下三种方法：

image

这里有一个小问题就是K值的选取问题，如果你对KNN有了解的话，会知道K值的选取很关键。

那么在做图像识别时如何选取K值呢？我们可以通过做—N折交叉验证来选择K值。即把训练集分成n折，然后用n-1折训练，用第n折验证。如此反复，可以得到如下的图形，既可以选择合适的K值。

image

实际上，用K近邻算法做图像识别有很多问题：
- 首先，识别的准确率不高
- 其次，要记录全部的数据
- 速度慢

所以我们可以试试线性分类器。

三、线性分类器与损失函数<

最低0.47元/天 解锁文章
如今我已剑指天涯
关注
专栏目录
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
SVM——（二）线性可分之目标函数推导方法2
空字符
11-12 2031
这是接着上一篇文章（方法1）整理的第二种推导方法。这是从另外一个点来思考如何求得目标优化函数，建议两种都看一下。这样能理解得更加透彻。0.引言什么是支持向量机(Support Vector Machine）? 我们需要明确的是：支持向量机它是一种算法，用来寻找一个“最佳”超平面。（直线也是超平面）如下图所示：那条线算是“最佳”超平面呢？直觉告诉你是中间红色这一条。事实上也是，因为其两侧离它最近的点的
斯坦福CS231n - CNN for Visual Recognition（2）-lecture3（上）线性分类器、损失函数
zhili8866的博客
11-24 3054
本节主要讲了线性分类器（svm和softmax），损失函数以及最优化（梯度下降）的问题 线性分类由于之前KNN分类器的缺点，让我们很自然地去寻找有一种更加强大地方法去完成图像分类任务，这种方法主要有两部分组成： 评分函数（score function），它是原始图像数据到类别分值的映射（f(x)=Wxf(x)=Wx）。 损失函数（loss function），它是用来量化预测分类
『cs231n』线性分类器损失函数
weixin_34247032的博客
06-10 114
代码部分 SVM损失函数 &amp; SoftMax损失函数： 注意一下softmax损失的用法：   SVM损失函数： import numpy as np def L_i(x, y, W): ''' 非向量化SVM损失计算 :param x: 输入矢量 :param y: 标准分类 :param W: 参数矩阵 ...
tebsorflow学习笔记1 ----------分类器与损失函数
m0_46348916的博客
04-30 286
典型的计算机视觉任务 计算机视觉基于大量不同任务，并组合在一起实现高度复杂的应用。计算机视觉中最常见的任务是图像和视频识别，涉及确定图像包含的不同对象。 ·四大主要任务： 图像分类 目标检测 目标分割 目标追踪 图像识别的难点： 神经网络： 支持向量机(Support Vector Machines，SVM)算法同样解决了线性不可分问题，但是对比神经网络有全方位优势: 1、高效，可以快速训练; 2、无需调参，没有梯度消失问题; 3、高效泛化，全局最优解，不存在过拟合问题，几乎全方位的碾压神经网络
分类算法中的损失函数
Vincent_zbt的博客
10-25 1万+
转自：http://blog.csdn.net/google19890102/article/details/50522945一、分类算法中的损失函数 在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式：J(w)=∑iL(mi(w))+λR(w)其中，L(mi(w))为损失项，R(w)为正则项。mi的具体形式如下：mi=y(i)fw(x(i))y(i)∈{−1,1}fw(x(i)
线性分类，损失函数与优化
Noneiseverything的博客
11-02 275
上一篇讲了最简单的线性分类器：k-Nearest Neighbor, 这里继续讲讲线性分类器。 linear classifiers作为深度学习里最基本的构造模块之一，首先是它的基本原理。 原理 假设我们想实现一个线性分类器，使每输入一张照片，系统可以从已知的10个labels中筛选，并自动输出它对应的label。现在输入一张32*32*3的彩色照片，矢量化之后对应了x=（3072*1）这样一个向量（3072=32*32*3），在被函数f（x，W）处理之后，能够得到一个（10*1）的新向量，每一行对应
深度学习神经网络用于分类脑肿瘤的研究：特征提取和性能分析.
可在www.sciencedirect.com在线获取ScienceDirectFutureComputing and Informatics Journal 3（2018）68e71http://www.journals.elsevier.com/future-computing-and-informatics-journal/使用深度学习神经网络对脑...
《Python机器学习及实践：从零开始通往Kaggle竞赛之路》第2章 基础篇 学习笔记（一）2.1.1.1线性分类器总结
wyatt007的博客
04-21 1317
“监督学习”中的“分类学习” 0、引言 对于每一类经典模型，都将从模型简介、数据描述、编程实践、性能测评以及特点分析5个角度分别进行阐述。 ...
机器学习（一） 线性分类器——损失函数——梯度下降法
weixin_43165513的博客
02-25 1305
分类 机器学习基于学习方法可以分为 监督学习 根据已有经验预测，学习结果为函数 非监督学习 学习结果为类别 强化学习
error c2064: 项不会计算为接受 1 个参数的函数_【深度学习笔记（一）】之线性分类与损失函数...
weixin_35125159的博客
01-13 1130
一．线性分类函数　　　　　　f(x,W) = W*x + b　　x为输入图像，W为多个参数，f(x,W)为输出是多个分类的概率。比如: 　　x 图像的大小为 32 x 32 x 3，排成一列，尺寸为 3072 x 1； 　　共10个分类，输出f(x,W)为 图像判定为10个分类中每个类别的概率，尺寸为10 x 1； 　　因此，可以反推出多个参数的矩阵...
CS231n——机器学习算法——线性分类（中：SVM及其损失函数）
欢迎光临啊噗不是阿婆主的酒馆
10-10 5347
损失函数 Loss function 在线性分类（上）笔记中，定义了从图像像素值到所属类别的评分函数（score function），该函数的参数是权重矩阵W。 在函数中，数据(xi,yi)(x_i,y_i)(xi​,yi​)是给定的，不能修改。但是我们可以调整权重矩阵这个参数，使得评分函数的结果与训练数据集中图像的真实类别一致，即评分函数在正确的分类的位置应当得到最高的评分（score）。 回到...
线性分类器损失函数与优化（李飞飞cs231n听课笔记之第三篇）
Zr‘s code world
07-12 2781
1、回顾线性分类器 2、SVM线性分类器损失函数定义 在实践中，一些定义损失函数的方法被证明是有效的，例如以多类SVM损失为例，其定义如下图所示，对于某个训练样本，其损失值的计算是通过不正确类别和正确类别的评分之差加1和零比较取极大值得到的，这个函数具有一些自身的性质，因为优化的目标是减小损失函数，而该损失函数的最小值是零，所以当所有不正确类别的评分减正确...
【人工智能】— 线性分类器、感知机、损失函数的选取、最小二乘法分类、模型复杂性和过度拟合、规范化
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
06-04 713
训练误差是模型在学习过程中不可避免的产物，通常我们希望训练误差越小越好，因为模型对训练数据的拟合程度越高，就越可能对未知数据产生良好的预测能力。泛化误差是机器学习中最为重要的概念之一，因为机器学习的目标是构建泛化能力强的模型，而不是仅仅在训练数据上表现良好的模型。损失函数的一个自然选择就是误分类点的总数，要找到决策边界，即分类超平面，使得分类误差最小，可以通过最小化期望的 0/1 损失函数来实现。感知机的训练目标是找到一个能够将训练集中的正负样本完全分开的超平面，即找到一个合适的权重向量。
[深度学习] 损失函数
热门推荐
四月晴
05-29 1万+
深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。 分类任务的损失函数 假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ，其对应的标记为YiYiY_i是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c）为网络的最...
深度学习损失函数
weixin_46258429的博客
02-28 1986
常见的两个损失函数MSE、CrossEntropyLoss的介绍
深度学习中的损失函数
sjyttkl的专栏
05-29 9346
深度学习（tensorflow）中的所有学习算法都必须 有一个 最小化或最大化一个函数，称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量模型的效果评估。 损失函数严格上可分为两类：分类损失和回归损失，其中分类损失根据类别数量又可分为二分类损失和多分类损失。在使用的时候需要注意的是：回归函数预测数量，分类函数预测标签。
机器学习：从线性分类器到深度神经网络
这部分主要讨论了从线性分类器到深度神经网络的主题，重点关注线性判别函数在分类问题中的应用。 首先，作者指出，在这部分内容中，我们假定判别函数的形式$f(x;\theta,k=1,\dots,K)$已经给定，可以通过训练数据来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值