交叉熵

最新推荐文章于 2022-10-22 11:18:12 发布
最新推荐文章于 2022-10-22 11:18:12 发布
阅读量244 收藏
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/milk_and_bread/article/details/108206238
版权

在这里插入图片描述
KL重合度高接近0，H§不稳定熵接近0

P= Q散开的程度DKL = 0

对于One-hot: − ∑ p l o n g p -\sum plongp −∑plongp,1log1= 0，即求 H ( p , q ) = H ( p ) + D ( p ∣ q ) H(p,q)= H(p) + D(p|q) H(p,q)=H(p)+D(p∣q)=DKL (p||q),当p=q时，D->0.p，q分别为预测以及样本分布概率函数

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
从上图看出Q1=[0.98,00.1,0,0,0.01],H->0,此时Pθ ->Pr
在这里插入图片描述

  • sigmod会出现饱和的情况，梯度离散。
  • CE收敛较比之收敛更快。
  • cross-entroy不行的情况下可以考虑MES，原因在于梯度求导简单。

pytorch实现

在这里插入图片描述
注：F.cross_entropy包括softmax+log+null_loss

milk_and_bread
关注
专栏目录
理解交叉熵
03-10
交叉熵（Cross Entropy）是信息论中的一个重要概念，它被广泛应用于机器学习，特别是深度学习中的损失函数计算。在讨论交叉熵时，我们需要明确它的数学定义和在实际应用中的意义。 1. 交叉熵CH(p,q)公式中的p和q...
深度学习(十八)——交叉熵
weixin_43633568的博客
03-05 380
交叉熵（Cross Entropy Loss）也是一种loss 香农定理： 用概率决定信息量，公式的意义：比如：买彩票，中100万奖概率小，一旦你中奖了，这个信息量就很大了；但你花10块钱买了一袋零食，本来概率就是100%，这个信息量就很小，由概率决定信息量，两者呈反比。 所以，如果4分类，每个分类出来的概率都是25%，不确定性很高，即求出的E（熵）就很大，可以用作loss。 KL代表散度 ...
Softmax和交叉熵的联系
Francis_s的博客
10-17 422
刚开始上DL的课就很好奇，为什么大家都选softmax是交叉熵是搭配使用的，老师也不讲.... 1. softmax + crossentropy 首先是理解softmax究竟做了什么事，它就是把模型的输出向量都规整到用概率的形式去表达了，这里softmax的公式就不放了。 譬如这个predict总共有5个类别，某一个样本进网络后的softmax输出是一个vector，[0.1, 0.2, 0.5, 0.1, 0.1]，这里表示的是这个样本一个概率分布：P(X,Y) ...
什么是跨域请求以及实现跨域的方案
Milk~每天分享一点点，技术进步一点点
07-16 388
什么是跨域请求 概述 ​ 在 HTML 中，<a>, <form>, <img>, <script>, <iframe>, <link> 等标签以及 Ajax 都可以指向一个资源地址，而所谓的跨域请求就是指：当前发起请求的域与该请求指向的资源所在的域不一样。这里的域指的是这样的一个概念：我们认为若协议 + 域名 + 端口号...
PyTorch中标准交叉熵误差损失函数的实现（one-hot形式和标签形式）
02-08
本文将深入探讨PyTorch中实现的两种交叉熵损失函数形式：one-hot编码形式和标签索引形式。 首先，我们需要理解什么是交叉熵（Cross-Entropy）。交叉熵是一种衡量两个概率分布之间差异的度量，常用于分类问题。在...
解决pytorch 交叉熵损失输出为负数的问题
09-16
在PyTorch中，交叉熵损失（Cross-Entropy Loss）通常用于分类任务，它衡量的是模型预测概率分布与真实标签之间的差异。交叉熵损失的计算涉及到对数和负数，因此在正常情况下，其输出应该是非负的。然而，当模型的...
分类问题损失函数 – 交叉熵
01-06
信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息...交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
图像的交叉熵
07-04
交叉熵的计算
TypeError: Argument given by name (‘thickness‘) and position (4)
milk_and_bread的博客
07-28 4787
TypeError: Argument given by name (‘thickness’) and position (4) cv2.rectangle(image, (left,top), (right , bottom), (255, 0, 0), thickness=2) 错误的原因有一下两个： 左上角坐标以及右下角的坐标为小数导致的类型报错，使用int()整数化 cv2.rectangle 函数要求image的形状应该为（通道，长，宽），如果使用其他读入方式，比如gdal读入影像，此时的im
制作VOC数据集(labelimg标注图片、划分数据集)
milk_and_bread的博客
03-06 4276
文章目录使用labelimg制作VOC数据集VOC数据集介绍labelimg介绍labelimg保姆级使用流程准备工作以官网的样式，先创建文件夹：设置labelimg给图片做标记最终结果数据集的划分准备工作划分数据集程序 使用labelimg制作VOC数据集 VOC数据集介绍 VOC数据集包括三个文件夹 Annotations:以xml文件格式记录图片的名字，类别，目标边框的位置，图片的大小 ...
OpenCV目标跟踪物体跟踪
milk_and_bread的博客
05-07 2148
任务目标 物体跟踪 从视频中获取每一帧图像 图像转换为HSV空间 设置HSV阈值到蓝色范围 获取蓝色物体 在图像处理中使用较多的是 HSV 颜色空间，它比 RGB 更接近人们对彩色的感知经验。非常直观 地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。 cv2.inRange() 作用：设定边界值，超出边界像素值改为0 lower_blue：阈值的下界（小于这个值，图像像素...
MMdetection训练配置
milk_and_bread的博客
10-22 2010
mmdetecton 安装 采用mmdetection,安装教程参考： Windows下配置MMDetection 数据集准备 实验为自制VOC数据集，使用tools/dataset_converters/pascal_voc.py转换为COCO格式数据集，结果包括 voc07_train.json、voc07_test.json、voc07_val.json，COCO数据集JSON文件格式字段说明参考： COCO数据集JSON文件格式 FasterRCNN训练模型配置 进入configs->fast
心跳信号分类预测（任务一）
milk_and_bread的博客
03-15 1834
文章目录赛题理解导入第三方包lightgbm xgboost catboost理解读取数据数据预处理df.memory_usage()reduce_mem_usage()函数简单预处理训练数据/测试数据准备 赛题理解 2016年6月，国务院办公厅印发《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》,文件指出健康医疗大数据应用发展将带来健康医疗模式的深刻变化，有利于提升健康医疗服务效率和质量。 赛题以心电图数据为背景，要求选手根据心电图感应数据预测心跳信号，其中心跳信号对应正常病例以及受不同心律
怎样获取HSV值
milk_and_bread的博客
05-07 1671
OpenCV获取HSV值 根据BGR的值转换为HSV的值 不能用 [0,255,0]而是用 [[[0,255,0]]] 这里的三层括号分别对应于 cvArray、cvMat、IplImage import cv2 import numpy as np green=np.uint8([[[0,255,0]]]) hsv_green=cv2.cvtColor(green,cv2.COLOR_BG...
OpenCV图像透明融合
milk_and_bread的博客
05-07 1309
任务目标 将两张图片融合，按照图像混合公式g(x)=(1−α)f0(x)+αf1(x)g (x) = (1 − α) f0 (x) + αf1 (x)g(x)=(1−α)f0(x)+αf1(x) 裁剪图像使两图像大小相等 # 图像混合 import cv2 import numpy as np img1=cv2.imread('image.jpg') img2=cv2.imread('ima...
梯度与激活函数
milk_and_bread的博客
08-24 1295
梯度 初始化的影响 同样的网络，同样的参数，初始化不同，梯度下降的速度不同，得到最小值也不同，如上图。 学习率的影响 学习率影响收敛的速度，初始情况下可以设置的大一些，不收敛在设置的小一些。 动量 梯度下降的时候，可能到达局部最优的情况，这时候给一个动量，用惯性冲出局部最优的情况。 常见公式求解梯度 激活函数 derivative 激活函数特点：在z=0z = 0z=0处不可导 Sigmoid Logistic 特点：将zzz从(−∞(- \infty(−∞,∞), \infty),∞)拉回到
Faster RCNN优化的方向
milk_and_bread的博客
08-18 1268
文章目录优化的方向概述主干网络更换样本后优化 优化的方向概述 主干网络更换 对提出不同尺度特征的优化，对小物体检测有一定的优势。 样本后优化
深度学习模型设计
milk_and_bread的博客
08-23 1166
文章目录深度学习模型设计非线性特征线性投影+非线性激活函数相比于传统分类模型设计越深,越宽多分枝残差慎用激活函数稀疏连接 深度学习模型设计 非线性特征 线性的特征空间是有限的，很难表示非线性的分布，变化越大越明显。而非线性特征学习在于很难学到特征，使其表现更好。 线性投影+非线性激活函数 尝试把线性特征拉到非线性空间，更深的网络描述更丰富的特征。 相比于传统分类 综上三点说明深度学习较比于传统分类效果较好。 模型设计 越深,越宽 设计怎么样的深度宽度的网络效果更好。 多分枝 一般来说，多分枝比单分
准确率，召回率，mAP(mean average precision)解释
milk_and_bread的博客
05-20 1128
准确率Precision 召回率Recall 其实这个翻译相当蛋疼。。。 recall最合理的翻译应该是 查全率 而Precision的最合理的翻译应该是查准率 这样就很容易理解了，假设一个班级有10个学生，5男5女 你用机器找女生，机器返回了一下结果： | 男 | 女 | 女 | 男 | 女 | 男 | 那么查准率为：3/6 = 0.5（返回的6个结果只有3个正确） 查全率为: 3/5 = 0.6 （所有女生有5个，但只找到3个） 参考文章：https://blog.csdn.net/leviopku/a
交叉熵tensorflow交叉熵损失
最新发布
07-11
交叉熵损失函数是深度学习中广泛使用的损失函数，特别是在分类任务中。它通常用于衡量模型预测的概率分布与真实标签之间差异的大小。在TensorFlow中，`tf.keras.losses.categorical_crossentropy` 或 `tf.nn.softmax...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值