EMD loss

最新推荐文章于 2024-03-25 18:08:04 发布
最新推荐文章于 2024-03-25 18:08:04 发布
阅读量6.3k 收藏 11
点赞数 2
分类专栏： 损失函数 文章标签： EMD 推土机距离 地球移动距离 Wasserstein
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzhj2007/article/details/106111480
版权
Earth Mover's Distance (EMD)，翻译过来是地球移动距离，又称为推土机距离，是对特征空间中两个多维矩阵中某一维距离的一种度量。The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single f
摘要由CSDN通过智能技术生成

Earth Mover's Distance (EMD)，翻译过来是地球移动距离，又称为推土机距离，是对特征空间中两个多维矩阵中某一维距离的一种度量。

The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single features, which we call the ground distance is given. The EMD ``lifts'' this distance from individual features to full distributions.
  • 先对该损失针对的生活场景进行描述。
  1. 假设有若干数量的土堆，每个土堆的大小不一且分布的位置不一样。同时存在若干数量的土坑，每个土坑的大小不一且位置不一样。对于每个土堆-土坑对的运输成本是给定的（以距离表示）。任务是把土堆搬动并填到土坑里，如何规划运输方案，使运输成本最低(描述详见这里)；
  2. 假设有一批货物需要从多个工厂运输到多个仓库，工厂和仓库的分布位置无规律，且它们的储存量不同。如何尽可能高效把所有 (当仓库总容量大于货物总重量) 或部分货物 (当仓库总容量小于货物总重量) 从工厂运送到仓库(描述详见
最低0.47元/天 解锁文章
hzhj
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PyTorch 1.7 CUDA 11编译PyTorch-EMDLoss
weijiaw的博客
02-18 2779
尝试编译并安装PyTorch的C++扩展：EMD Loss （Earth Mover’s Distance 动土距离），GitHub链接：https://github.com/meder411/PyTorch-EMDLoss 本人使用Ubuntu 16.04，PyTorch 1.7 + CUDA 11，但由于原文件是用PyTorch 1.0写的，所以直接运行python setup.py install的话，ninja编译器会报错。报错很长，这里贴几个关键词： （中间） FAILED: /xxxxx/PyT
Pytorch中torch.nn的损失函数
12-21
目录 前言 一、torch.nn.BCELoss(weight=None, size_average=True) 二、nn.BCEWithLogitsLoss(weight=None, size_average=True) 三、torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True) 四、总结 前言 最近使用Pytorch做多标签分类任务，遇到了一些损失函数的问题，因为经常会忘记（好记性不如烂笔头囧rz），都是现学现用，所以自己写了一些代码探究一下，并在此记录，如果以后还遇到其他损失函数，继续在此补充。 如果有兴趣，我建
Earth mover's distance
11-25
该文章描述了计算图像相似性的一种metric，具有很强的实用性
搬土距离（Earth Mover‘s Distance)
bbbeoy的专栏
10-10 899
https://www.cnblogs.com/HolyChen/p/5982531.html
深度学习损失函数新成果！18个突破性方法，让模型更精准、更高效
最新发布
学姐带你玩AI的博客
03-25 2530
解决了交叉熵损失函数在某些场景暴露的一些问题，如偏离评价指标、过度自信等，它源于交叉熵损失函数，能大幅提高 LLM 的微调效果。交叉熵损失函数是最常用的一种损失函数。在机器学习中，它不仅指导着模型的训练过程，影响模型的优化方向，还直接影响到最终模型的泛化能力和实用性，对于实现高效、准确的机器学习模型至关重要。常用的损失函数主要可以分为两大类：分类问题的损失函数和回归问题的损失函数。今天我就从这两大类入手，介绍，每种损失函数都附上了，方便各位学习。论文和代码需要的同学看文末。
机器学习大牛最常用的5个回归损失函数，你知道几个？
hlang8160的博客
04-17 928
“损失函数”是机器学习优化中至关重要的一部分。L1、L2损失函数相信大多数人都早已不陌生。那你了解Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失么？这些可都是机器学习大牛最常用的回归损失函数哦！ 机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。 ...
python emd算法
02-25
Python EMDEarth Mover's Distance (EMD) 是一种衡量两个概率分布之间差异的方法，它在计算机视觉、图像处理和机器学习等领域有广泛应用。在Python中实现EMD算法，通常会使用`scipy`库中的`scipy.optimize.linear_...
EMD_EMD_
09-30
经验模态分解（Empirical Mode Decomposition，简称EMD）是一种数据驱动的信号处理方法，由Nigel R. Morison等人在1998年提出。这种方法主要用于非线性、非平稳信号的分析，能够将复杂的信号分解为一系列简单、具有...
emd_EMD_EMD分解
09-11
emd_EMD_EMD分解是一种基于经验模态分解（Empirical Mode Decomposition，简称EMD）的数据分析方法。在MATLAB 2019a环境下，我们可以利用提供的源代码（emd1.m和emd2.m）来理解和应用这一技术。EMD是英国科学家R. R....
点云损失函数Chamfer Distance 和 Earth Mover‘s Distance
qq_39964246的博客
08-12 5318
浅析点云损失函数Chamfer Distance 和 Earth Mover‘s Distance
EMD实现的MATLAB代码
03-08
对于正在开始研究EMD进行信号处理的朋友有帮助，里面有EMD的源码，可以直接在MATLAB实验。
【CVPR2020】Detection in Crowded Scenes: One Proposal, Multiple Predictions笔记
晨曦的博客
07-20 2474
原文链接：https://openaccess.thecvf.com/content_CVPR_2020/html/Chu_Detection_in_Crowded_Scenes_One_Proposal_Multiple_Predictions_CVPR_2020_paper.html 代码链接：https://github.com/Purkialo/CrowdDet 0 Abstract 提出了一种有效的proposal-based object detector，能够在拥挤场景中探测高度重叠的实例。提
【转载】细嚼慢咽读论文：点云上采样网络开天辟地PU-Net
xiaoyaolangwj的博客
07-28 1072
论文标题：PU-Net: Point Cloud Upsampling Network 标签：有监督 | 点云上采样 首先回答一个问题： 什么是点云的上采样任务呢？ 简单来说，点云上采样任务就是输入稀疏点云，输出稠密点云，同时需要保持住点云的基本形状、均匀程度等特征。 如下图所示，某上采样算法输入稀疏骆驼点云，输出稠密骆驼点云。 上采样的最主要应用就是作为一种数据增强的方式，为下游任务（比如分类、分割等）提供高质量的数据。 相关任务：点云补全、图像超分辨率 1 motivatio
大二期末小学期的实验流水账（PCN Point Completion Network以及小部分GAN论文直播课的想法）(更新至7.7)
Ther0的博客
07-07 685
这一周多的时间几乎全部的工作都为了调试一个loss函数的bug。 期末后小学期第一周，我开始研究怎么跑起这个PCN网络的代码，PCN是云点积补全的生成网络，大概的功能就是可以补全特征补全的物体的三维点积，就是下面这种样子。 论文地址，我得记一下，怕丢。 论文地址 在论文提供的代码地址下载了代码，一开始想着看看代码能不能跑起来，先不管电脑配置的原因。因为我的笔记本上面有Pytorch的环境，所以直接在笔记本上面跑的代码，结果发现人家原论文里提供的代码只有TensorFlow版本的，然后我又在电脑上创建了虚拟
[arXiv 2019] PCRNet: Point Cloud Registration Network using PointNet Encoding
zhulf0804的博客
10-30 2587
零、概要 论文: PCRNet: Point Cloud Registration Network using PointNet Encoding tag: arXiv 2019; Registration 代码: https://github.com/vinits5/pcrnet, https://github.com/vinits5/pcrnet_pytorch/ 作者: Vinit Sarode, Xueqian Li, Hunter Goforth, Yasuhiro Aoki, Rangap
向量相似度度量（一）：EMD （Earth Mover's Distance）
热门推荐
wangdonggg的专栏
06-19 1万+
关于EMD算是一个线性规划的通用问题（或者交通问题）。 fij是从Pi搬到Qj的土的量；dij是Pi位置到Qj位置的代价（距离）。要最小化WORK工作量。EMD是把这个工作量归一化以后的表达，即除以对fij的求和。（fij的求和一定是wpi和wqj的各自求和的最小值，即P的所有土的总量，和Q的土的容量的总量。   s.t.
点云距离度量——EMD距离
qq_40791099的博客
11-05 3569
https://mp.weixin.qq.com/s/YA8bubqiH6-f1grKlI8vbQ https://zhuanlan.zhihu.com/p/270675634 （超级形象容易理解！） 首发于小刘学计算机视觉写文章点云距离度量：完全解析EMD距离(Earth Mover's Distance)刘昕宸​清华大学 软件学院硕士在读​关注他8 人赞同了该文章1 我们为什么需要度量点云距离EMD距离度量两个分布之间的距离。这里的分布当然可以是点云。意义：在传统机器学习任务中，我们常用L1范数、L2范
Pytorch的各种loss函数及用法总结
qq_40178291的博客
08-21 2774
Pytorch的各种loss函数及用法总结参考链接 以下只给出交叉熵解读和代码
遮挡目标检测持续汇总
weixin_43913124的博客
05-18 7939
遮挡目标检测持续汇总 常常将遮挡分为目标与目标间的遮挡(Crowd)、目标与背景间的遮挡(Occlusion) 文章目录遮挡目标检测持续汇总Double Anchor R-CNN for Human Detection in a CrowdBi-box Regression for Pedestrian Detection and Occlusion EstimationDetection in Crowded Scenes: One Proposal, Multiple PredictionsAdapti
写一点基于EMD-BiLSTM神经网络pytorch深度学习框架模型的股票预测代码
03-31
抱歉，我是一名语言模型，无法编写代码。但是，以下是一个基于EMD-BiLSTM神经网络的股票预测模型的示例代码，供您参考： ``` import pandas as pd import numpy as np import torch from torch import nn # 数据预处理 data = pd.read_csv("stock_data.csv") data = data.dropna() features = data.drop(["date", "open", "high", "low", "close"], axis=1) labels = data["close"] # 将数据划分为训练集、验证集和测试集 train_data = features[:800] train_labels = labels[:800] val_data = features[800:900] val_labels = labels[800:900] test_data = features[900:] test_labels = labels[900:] # 定义EMD-BiLSTM模型 class EMD_BiLSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(EMD_BiLSTM, self).__init__() self.input_size = input_size self.hidden_size = hidden_size self.num_layers = num_layers self.output_size = output_size self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True) self.fc = nn.Linear(hidden_size*2, output_size) def forward(self, x): h0 = torch.zeros(self.num_layers*2, x.size(0), self.hidden_size).to(device) c0 = torch.zeros(self.num_layers*2, x.size(0), self.hidden_size).to(device) out, (hn, cn) = self.lstm(x, (h0, c0)) out = self.fc(out[:, -1, :]) return out # 训练模型 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = EMD_BiLSTM(input_size=5, hidden_size=64, num_layers=2, output_size=1) model.to(device) criterion = nn.MSELoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(100): train_loss = 0 model.train() optimizer.zero_grad() input_data = torch.tensor(train_data.values).float().to(device) labels = torch.tensor(train_labels.values).float().to(device) output = model(input_data) loss = criterion(output, labels) loss.backward() optimizer.step() train_loss += loss.item() print(f"Epoch {epoch+1}, Train Loss: {train_loss}") # 验证模型 model.eval() val_loss = 0 with torch.no_grad(): input_data = torch.tensor(val_data.values).float().to(device) labels = torch.tensor(val_labels.values).float().to(device) output = model(input_data) loss = criterion(output, labels) val_loss += loss.item() print(f"Validation Loss: {val_loss}") # 测试模型 model.eval() test_loss = 0 with torch.no_grad(): input_data = torch.tensor(test_data.values).float().to(device) labels = torch.tensor(test_labels.values).float().to(device) output = model(input_data) loss = criterion(output, labels) test_loss += loss.item() print(f"Test Loss: {test_loss}") ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值