douhuanmin123的博客

多数度量学习的代码都需要进行挖掘，样本挖掘过程就是把一个Batch中的所有样本，根据标签来划分成正样本和负样本。比如输入样本为[Batch,Embedding],对应的标签是[Batch,Class]

kornia是一个计算机视觉算法库，数据增强的模块非常好用，可以使用它的数据增强模块完全无缝的嵌入到pytorch中而且不会和torchvision中的transforms模块冲突以下展示我们的数据增强模块的实例。

在这种情况下，您需要将IPython内核切换到正确的Conda环境中。模块，但是没有在IPython内核中安装该模块。您可以通过在终端中激活Conda环境并运行以下命令来安装IPython内核中的。如果您有多个Conda环境，并且您的IPython内核不在正确的环境中，那么您可能无法导入该环境中的。在某些情况下，您可能已经在Conda环境中安装了。IPython内核不在正确的环境中。IPython内核缺少其他依赖项。matplotlib`模块兼容。如果您在Conda镜像中安装了。

用于可视化模型结果的 GradCAM 自动脚本。

在给定模型和数据的情况下，最大化似然函数等价于最小化误差平方和，即最小化残差平方和。这也是最小二乘法的基本思想。对于线性回归模型，我们可以使用最小二乘法来估计模型参数。假设我们使用线性回归模型来拟合某个数据集，其中y是因变量，x是自变量，w和b是模型参数，ei是误差项，符合正态分布。RSSwbΣyi−xiw−b2RSSwbΣyi−xiw−b2我们的目标是找到最优的w和b，使得RSSwbRSS(w, b)RSSwb最小化。

首先，我们先把我们的pytorch版本提升到2.0.1,这样会防止很多不必要的报错（但这样的坏处就是我们没有办法使用nvidia-apex进行加速了，除非等到版本的更新。

一种常用的技术是标签平滑（Label Smoothing），它可以优化传统的交叉熵损失函数，使其适用于多标签分类问题。标签平滑通过将真实标签的概率分布从原来的one-hot编码改为一个平滑的分布，从而减少模型在训练过程中的过拟合风险。标签平滑的优点在于，它可以减少模型在训练过程中的过拟合风险，从而提高模型的泛化性能。传统的交叉熵损失函数通常用于多分类问题，而在多标签分类问题中，每个样本可能属于多个标签，因此需要使用一些新的技术来优化交叉熵损失函数。需要注意的是，标签平滑的平滑度。

每一个作为独立的一个属性，都有分别对应的MLP（多层感知机,也可以是其他的模型）对信息进行传递，经过学习后的图的结构是不变的，（对于每个节点，边，全局信息的结构也不会变，相当于图的节点，边， 全局信息都经过了一次学习），这里我们也必须重视图神经网络的另一个属性就是。（连接性可以理解为，节点之间属性的联系是边，图神经网络中连接性不只是权重矩阵，节点的连接性体现在每个节点的输入中，这个后续会说），这里虽然更新的了节点，边，全局信息的值，但是并没有提到连接性，如何保证连接性也得到更新呢。

增加深度的同时也代表着训练更加收敛 ， 损失函数对参数的求导 ， 可能会因为很长的求导链式法则产生很多其他的数字 ， 这些数字可能会很小，也可能会很大。所以跳跃连接就是我们直接把输入，添加到层快的一个输出中 ， 比如说直接把第一个激活函数的输出，作为第3层的输入，这样我们就缓解了梯度消失的问题。我们会尝试在学习底部层的的时候避免变化顶部层，因为顶层开始收敛的比较快，训练持续的时候，顶部变化，底部变化，顶部收敛快，底部收敛慢。L1 范数 ———— 所有权重的绝对值的和 —————— 通过小因子进行缩放。

【代码】操作真实的数据集。

更简洁的线性回归实现。

def linreg(X , w , b) : # 线性变换，等价于nn.linear(in_dim , out_dim) return torch . matmul(X , w) + b。