【深度学习】关于Permutation Invariant的解释

最新推荐文章于 2023-11-17 09:59:21 发布
最新推荐文章于 2023-11-17 09:59:21 发布
阅读量3.7k 收藏 13
点赞数 3
分类专栏： 深度学习推荐系统 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43359312/article/details/115772760
版权
本文探讨了在神经网络中，尤其是图像识别任务中，多层感知机和卷积网络对特征排列的不同敏感性。多层感知机是排列不变的，即特征的顺序变化不会影响结果，而卷积网络则依赖于特征的空间位置。这种差异揭示了两种网络结构在处理信息时的基本原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Permutation Invariant指的是特征之间没有空间位置关系.
如多层感知机，改变像素的位置对最后的结果没有影响.

f ( ( x 1 , x 2 , x 3 ) ) = f ( ( x 2 , x 1 , x 3 ) ) = f ( ( x 3 , x 1 , x 2 ) ) f((x_1,x_2,x_3))=f((x_2,x_1,x_3))=f((x_3,x_1,x_2)) f((x1​,x2​,x3​))=f((x2​,x1​,x3​))=f((x3​,x1​,x2​))

但对卷积网络而言，特征之间则有空间位置关系.

以上解释参考以下问题的回答.
What does “permutation invariant” mean in the context of neural networks doing image recognition?

机器学习词汇
小沙粒看未来
07-04 2806
1 .permutation-invariant：空间不相关的 local permutation-invariant aggregation:局部的无空间相关性的聚集 例子：convolution neural network 就是 permutation-related. 词汇来自 https://arxiv.org/abs/1902.06673 2. Region of...
Transformer
m0_55217431的博客
06-23 439
Seq2seq transformer其实是一种序列到序列的转换，但是我们不知道输出的长度，应该由机器来自己决定，一个例子就是 语音辨识，输入时声音讯号，其实就是一串vector，
机器学习/深度学习论文中常出现的Permutation Invariant解释
Nin7a的博客
12-11 1万+
Permutation Invariant指的是特征之间没有空间位置关系，例如多层感知机，改变像素的位置对最后的结果没有影响 f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1))f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1))f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1)) 但是对卷积网络情况就不同了...
【Deep Learning】样本的随机分布—numpy中shuffle()和permutation()函数
pangpd的博客
04-29 655
前言 使用深度学习训练模型时，数据的随机分布非常重要，增加模型的泛型能力，防止过拟合！ shuffle()函数 在原有数据的基础上操作，打乱元素的顺序，无返回值 import numpy as np arr = np.arange(10) print(arr) [0 1 2 3 4 5 6 7 8 9] np.random.shuffle(arr) print(arr) [6 4 7 3 0 1 ...
【点云处理之论文狂读经典版5】—— Deep Sets
yuanmiyu6522的博客
05-12 2340
Deep Sets摘要1.引言2.Permutation Invariance and Equivariance2.1 Problem Definition2.2 Structure2.3 Related Results3. Deep Sets3.1 Architecture4.实验4.1.3Point Cloud Classification生词 摘要 我们研究了定义在sets上的机器学习任务模型设计问题 考虑了定义在sets上的目标函数，该函数是permutation-invariant的 主要理论定
End-to-End Object Detection with Transformers，DETR论文学习
qq_47011000的博客
07-22 1849
DETR、目标检测、transformer、二分图匹配损失。
Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks
qq_27136953的博客
02-03 763
Set transformer
PIT2017笔记
FonFon27的博客
02-14 1434
【论文】 Permutation Invariant Training of Deep Models for Speaker-independent Multi-talker Speech Separation，ICASSP 2017，Dong Yu @ Microsoft 【0. 摘要】 直接最小化separation error来解决permutation problem，从而使得DNN可以用于speaker-independent的说话人分离 【1. 引入】 较早的语音分离方法： 1. C
李宏毅人类语言处理2020：Speech Separation
梆子井欢喜坨的博客
06-11 3013
目录
深度学习CV八股文
热门推荐
填坑
03-04 2万+
深度学习CV八股文一、深度学习中解决过拟合方法L1和L2正则化DropoutDropout正则化Inverted Dropout（反向随机失活）Dropout起到正则化效果的原因：Dropout的缺点eargstopping ( 早停法 )二、深度学习中解决欠拟合方法三、梯度消失和梯度爆炸解决梯度消失的方法解决梯度爆炸的方法四、神经网络权重初始化方法Xavier指数加权移动平均数五、梯度下降法梯度下降SGD(随机梯度下降法)Momentum(动量梯度下降)Nesterov Momentum自适应学习率算法A
Supervised speech separation based on deep learning: An overview
07-02
语音分离 人工智能 文献综述 本文提供了全面的 基于深度学习的研究概述 最近几年监督语音分离。我们 首先介绍语音分离的背景和 监督分离的制定。然后我们讨论 监督分离的三个主要组成部分：学习 机器，训练目标和声学特征。大部分 概述是关于分离算法的，我们将对其进行回顾 单声道方法，包括语音增强 （语音-非语音分离），说话者分离（多通话者分离）和语音混响以及 多麦克风技术。重要问题 讨论了监督学习所特有的泛化。
【深度学习——点云】PointNet
theoreoeater的博客
05-10 1313
这篇文章是发表在CVPR 2017上的一篇关于对点云数据进行分类与分割的文章，文章链接：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 1. Background 大数据时代下3D数据的日益增多，急需一套有效的针对3D数据的深度学习网络来进行分类、分割等任务。点云是一种简洁的、最接近原始传...
GeniePath：Graph Neural Networks with Adaptive Receptive Paths 论文详解 AAAI2019
知行合一，止于至善
09-23 3372
文章目录1 相关介绍1.1 感受野的定义贡献2 图卷积网络GCNGCN、GraphSAGE、GATDiscussions3 GeniePath3.1 Permutation Invariant 排列不变性Theorem 1 (Permutation Invariant 排列不变性)Remark 2 (Associative Property 结合律)3.2 Adaptive Path Layer ...
[论文阅读]PIT
qq_41703690的博客
04-26 2676
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-Talker Speech Separation 3 Jan 2017 Permutation Invariant Training of Deep Models for Speaker-Independent Multi-Talker Speech Separation Introduction 要点： 直接最小化分离误差； 解决了长期标签排列
【损失函数】Keras Loss Function
化甘
07-01 4833
文章目录ReferanceSNR (Signal-to-Noise Ratio)Si-SNR (Scale invariant Signal-to-Noise Ratio)PIT (Permutation Invariant Training)uPIT (utterance-level PIT)uPIT-SiSNR 损失函数，也是模型训练中非常重要的一块。 常见损失函数： 语音分离： uPIT-SiSNR 语音增强：l1, mse Referance 关于uPIT Si-SNR https://blo
【计算机视觉|语音分离】期望在嘈杂环境中聆听：一个用于语音分离的不依赖于讲话者的“音频-视觉模型”
远
08-02 3163
我们提出了一个联合的“音频-视觉模型”（joint audio-visual model），用于从混合声音（如其他讲话者和背景噪音）中分离出单一的语音信号。仅使用音频作为输入来解决这个任务极其具有挑战性，并且不能将分离出的语音信号与视频中的讲话者关联起来。在这篇论文中，我们提出了一个基于深度网络的模型，它结合了视觉和听觉信号（incorporates both visual and auditory signals）来解决这个任务。
Speech Separation，语音分离详解——语音信号处理学习（七）
最新发布
m0_56942491的博客
11-17 6092
本文主要介绍了语音分离任务中的评估指标，包括信噪比(SNR)和幅度不变信号失真比(SI-SDR/SI-SNR)等；同时讨论了样本排列问题、深度聚类、PIT以及TasNet等技术应用在语音分离任务中的优缺点和发展。此外，还探讨了未知说话人数、多麦克风、视觉信息和任务导向优化等方面的研究。
李宏毅DLHLP.11.Speech Separation.1/2. Deep Clusterring, PIT
老毛的博客
10-09 1225
文章目录介绍Speaker SeparationEvaluationPermutation IssueDeep ClusterringMaskingIdeal Binary Mask (IBM)Deep Clustering 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式 Speech Separation: • Humans can focus
Chapter3-1_Speech Separation(Deep Clustering, PIT)
zjuPeco的博客
05-24 2845
文章目录1 内容简述2 评价指标2.1 Signal-to-noise ratio (SNR)2.2 Scale invariant signal-to-distortion ratio (SI-SDR)2.3 其他的评价指标3 Permutation Issue4 Deep Clustering 本文为李弘毅老师【Speech Separation - Deep Clustering, PIT】的课程笔记，课程视频youtube地址，点这里????(需翻墙)。 下文中用到的图片均来自于李宏毅老师的PPT，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值