basketball616的博客

Mixup 通过其核心思想是具体来说，对于两个样本及其对应的独热编码标签，按照一定比例进行加权混合，从而得到一个新的样本和标签。

深度学习中的重参数化（Reparameterization）是一种数学技巧，主要用于解决模型训练过程中随机性操作（如采样）导致的梯度不可导问题。在涉及概率生成的任务中（如变分自编码器VAE），我们希望从潜在变量的分布中采样，这个分布通常是某种分布（例如高斯分布，参数化为均值。（通常为标准分布，如标准正态分布），将随机性转移到外部，使采样过程变为可导操作。重参数化技巧通过引入一个独立的随机变量来解决这个问题，使得采样过程可导。策略网络输出动作分布的参数，通过重参数化采样动作，使梯度可传回策略网络。

对于一个事件而言，它一般具有三个特征：小概率事件往往具有较大的信息量大概率事件往往具有较小的信息量独立事件的信息量相互可以相加比如我们在买彩票这个事件中，彩票未中奖的概率往往很高，对我们而言一点也不稀奇，给我们带来的信息量很小，彩票中大奖的概率往往非常低，中一次大奖则是非常罕见，给我们带来的信息量很大。如何描述信息量大小呢？有如下定义：其中描述某一事件发生的概率，反映了信息量与发生概率之间成反比，取对数是为了 独立事件的信息量相互可以相加（第三个特征）。

对矩阵进行特征提取是一个在数学、工程、数据分析和机器学习等领域中至关重要的过程。

无约束优化就像在自由空间中寻找最高或最低点，核心是目标函数的性质（如是否平滑、凸性）和如何高效搜索。它是许多实际问题的简化模型，也为复杂的有约束优化提供了解决思路。x%3D0xx。