Soft argmin的含义

在机器学习中，Soft-argmin 是一种常用的非线性操作，它可以将一个向量或者张量中的数值转换为概率分布，并且可以保留一些原始向量或张量中的信息。

具体来说，Soft-argmin 可以被视为一种连续的、可微分的替代方法，用于计算 argmin 函数。在标准的 argmin 函数中，我们将输入数据集中最小值的索引作为输出，而 Soft-argmin 会将输入数据集中的所有值视为概率分布，然后通过对概率分布进行加权平均来计算输出结果。

在 Soft-argmin 中，假设我们有一个 $N$ 维向量 $\mathbf{x}=[x_1,x_2,\dots ,x_N]$，Soft-argmin 的计算公式如下：

$$\mathrm{softargmin}(\mathbf{x})=\sum _{i=1}^N\frac{i}{{\sum }_{j=1}^{N}j}\sigma (x_i)$$

其中，$\sigma (x_i)$ 是 softmax 函数，用于将输入 $x_i$ 转换为概率值：

$$\sigma (x_i)=\frac{\exp (x_i)}{{\sum }_{j=1}^N\exp (x_j)}$$

Soft-argmin 可以被看作是一种加权平均，其中权重是概率值，而概率值是由 softmax 函数计算得出的。Soft-argmin 的输出结果是一个实数，表示输入向量的加权平均，可以用于多种机器学习任务，例如目标检测、姿态估计和深度估计等。

需要注意的是，Soft-argmin 的计算时间和空间复杂度较高，因此在实际应用中需要根据具体情况进行优化，例如通过使用近似算法、降低分辨率等方法来减少计算量和内存占用。