- 博客(2)
- 收藏
- 关注
RSS订阅原创 AMSoftmax学习
比如说模型输出数据的维度是1*n,但是在此次训练中数据集的类别是m,为了模型输出的维度和输出数据的维度相匹配，我们利用了一个W矩阵，将输出的feat转为(1*m)维度。它的公式也就是由如下所示。我在这里理解最后全连接层训练的参数W权重矩阵其实就是每一类的中心向量的汇总，然后将输入的数据x映射到待分类的线性空间上(以中心向量作为基准向量)。之前的softmax loss得到的只是一个vector(基准)但是类间的距离却差别不是很大，而由下图中的左图我们可以看出类内的点variance比较大，分散比较零散。
2024-08-18 17:05:40
349
原创 PanguLU 论文学习
PanguLU: A Scalable Regular Two-Dimensional Block-Cyclic Sparse Direct Solver on Distributed Heterogeneous Systems 小白简单学习经验
2024-08-14 14:22:22
628
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人