Deep Set

最新推荐文章于 2025-04-11 10:10:51 发布

吴云理

最新推荐文章于 2025-04-11 10:10:51 发布

阅读量2.4k

点赞数 1

分类专栏：机器学习向量化文章标签：机器学习线性代数

本文链接：https://blog.csdn.net/wuyuanli_r/article/details/122615068

版权

Deep Set是一种处理向量集合的模型，具有置换不变性，适用于图、点云等非向量样本。它通过Embedding和Dense层的组合学习模型，对集合元素进行线性和非线性运算。置换等变函数作为更精细的模型，每个位置的元素对应一个独立的输出函数，可以更好地捕捉元素间关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个样本一般会被看成是一个向量. 然后将样本标签丢给机器去学习模型.
通常也有样本, 不是向量. 例如图, 点云(矩阵), 持续图（2维向量集合), 文本(向量序列).
对这些样本一般使用向量化手法, 大家熟悉的是 word2vet, transformer. 这里我们了解一下 DeepSet.

文章参考 Deep Sets
有一些网文介绍也对此做了介绍.
纯翻译的 https://www.cnblogs.com/wangchangshuo/p/13853491.html
添加个人理解的 https://zhuanlan.zhihu.com/p/368357090
*(按键人写此, 目的是加深理解, 分享交流, 不做盈利. 故而不详细考证哪些人已经介绍过此文.)

1. 置换不变函数

DeepSet 处理的对象是向量组成的集合 S, 输出是一个实数(或者向量).
令 $\text{Set}$ 我集合范畴(范畴的对象看成是集合),
$\text{DeepSet}:\text{Set} \to \R$
$\text{S} \in \text{Set}$ , $\text{DeepSet}(\text{S})=\text{DeepSet}(s_1,s_2,\cdots,s_n)=\text{DeepSet}(s_2,s_1,\cdots,s_n)$
把话说清楚一些. 集合看成是矩阵. 每个元素是一个行向量 $s_i$ . 学习到模型只和集合有关系, 和集合中哪个向量摆在第哪一行没有关系，即
$\text{DeepSet}(s_1,s_2,\cdots,s_n)=\text{DeepSet}(s_{\sigma(1)},s_{\sigma(2)},\cdots,s_{\sigma(n)}).$

最低0.47元/天解锁文章