- 博客(11)
- 收藏
- 关注
RSS订阅原创 人体姿态估计
在前向传播中，检测时使用 argmax 解码热图，而积分回归则使用 softmax 标准化和期望。在后向传播中，检测方法通过明确定义的以ground truth为中心的高斯热图进行监督。检测和积分回归方法在前向和后向传播中有两个方面的差异。当场景中的关节点更少，遮挡更多且边界框分辨率更低时。基于积分回归方法的性能优于基于检测的方法。而积分回归则通过直接的关节坐标进行监督。
2024-04-28 15:07:17
100
原创 2D人体姿态
为了将热图解码为关节坐标，基于检测的方法使用了argmax，积分回归的方法则是取期望值。基于检测的方法和积分姿态回归方法成为人体姿态估计的两种常见范式。热图在基于检测的方法是显式的，但在积分回归的方法中是隐式的。由于期望操作是可微的，积分回归具有端到端可学习的优势。但基于检测的方法在精度方面似乎更有竞争力。
2024-04-28 14:03:59
115
原创 笔记（凑字数）
argmax在深度学习中是一种常用操作，它将输入的概率分布（例如热图）转换为具有最大值的索引。虽然argmax操作在数学上是很直观的，但它是一个不可微的操作，这意味着它在梯度计算中是不可导的。如果损失函数依赖于argmax操作，那么由于argmax操作不可导，就无法直接计算梯度。为了解决这个问题，通常会使用softmax函数或其他可微的激活函数来代替argmax操作，以使解码过程可导。同时，也可以考虑使用一些技巧来近似argmax操作，或者通过设计特定的损失函数来间接地优化argmax操作。
2024-04-27 18:27:34
81
原创 在积分回归中，使用softmax和期望操作的组合可以将热图的值映射到一个概率分布，这样可以更好地表达关键点的位置。
在训练过程中，由于softmax函数的性质，它会将网络输出的值推向极端值（接近0或1），导致热图变得极端局部化，即某些区域的概率接近1，而其他区域的概率接近0，这种偏差会影响到关键点的准确定位。然而，在实际应用中，期望操作可能会过度关注那些被高概率区域所覆盖的位置，而忽略了其他可能含有关键点的区域，导致了位置估计的偏差。：使用softmax和期望操作将热图映射到概率分布时，可能会丢失一些信息，特别是在梯度反向传播过程中，这些信息损失可能导致训练过程中的信息不足，使得模型难以准确学习到关键点的分布。
2024-04-27 18:16:51
186
原创 Graph Convolution Network
网络包含不同数量的节点，不同的节点也包含不同的邻居，传统的CNN无法作用。图片是比较规则的图结构，使用卷积核就可以平移提取节点特征。通过加权聚合学习到node的特征从而去做一系列的预测任务。卷积神经网络的输入是图片等具有欧几里得结构的图结构。GCN能够聚合node附近的node特征。遇到拓扑网络或者社交网络的图结构不整齐。欧式空间里面利用卷积核来提取特征。
2024-03-26 22:20:03
83
原创 类边界的概念
它有助于确定属于每个类别的值的范围，并允许更好地分析和解释数据。当有不同类别的数据时，总是存在类别上限和下限，即数据集具有最小值和最大值。当数值数据被分组为类别时，标记类别界限的值称为下限和上限类别边界。类边界是一个类的类级上限和下一个类级的类级下限的中点。因此，每个阶级都有一个上层阶级和一个下层阶级边界。必须注意的是，一个类的上层边界和后续类的下层边界是相同的。类边界不是数据集的一部分。
2024-03-26 16:22:25
173
原创 余弦相似度
要计算两个向量之间的余弦相似度，可以用两个向量的点积除以它们长度的乘积。余弦相似度值范围从-1(不相似)到+1(非常相似)值越小说明个体间相似度越小。值越大说明个体差异越大。
2024-03-26 15:52:32
115
原创 论文学习
深度学习模型容易受到对抗攻击，这些攻击策略性地计算数据扰动以欺骗训练好的网络。成功攻击的关键是尽量减少对受害者模型、训练数据和标签所需的信息量。一种新模型（不需要访问受害者模型、训练数据或标签）无盒攻击不需要访问受害者模型（但仍需访问标签）这些扰动对人类是不可察觉的。
2024-03-20 17:38:45
170
1
原创 （学习）前馈神经网络
在Transformer模型中，前馈神经网络位于Transformer的每个编码器和解码器层之后。Transformer中，FFN会对序列中的每个位置进行相同的变换，而不考虑序列的顺序。这种位置独立的特性使得Transformer能够并行计算，加快了训练和推理的速度。前馈神经网络是一个全连接的前馈神经网络，由两个线性变换和一个非线性激活函数组成。前馈神经网络的作用是对位置编码或解码后的向量进行全连接变换。当多层的FFN堆叠起来，它就有了深度神经网络的近似能力。两层的FFN就具备强大的拟合能力。
2024-03-14 20:51:06
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人