Algorithm Explanation
文章平均质量分 92
人工智能算法的通俗理解
康康好老啊
God don't let me die but let me suffer, so I play with god.
展开
-
NLLloss,KLDivLoss,CrossEntropyLoss三类损失函数比对
NLLLoss与CrossEntropyLoss的区别在于一个log_softmax()函数,KLDivLoss与其它两者的区别在于其实两个KL散度之差再求和,而另外两者是求和(当然具体公式会有一定区别)的增大,不同类别之间的差距值越小(对负标签,即非正确标签关注度更高),但是大小关系并不改变。这里我们使用了一个超参数。这三个函数在深度学习模型中十分常见,尤其是在知识蒸馏领域,经常会将这三个函数进行比较。然后接着之前的例子,我们令T=0.5,1,2,4时,观察数据的变化。具体含义不同,这里的。原创 2023-07-05 14:24:16 · 365 阅读 · 0 评论 -
通俗易懂的知识蒸馏 Knowledge Distillation(下)——代码实践(附详细注释)
教师模型网络结构(此处仅举一个例子):卷积层-卷积层-dropout-dropout-全连接层-全连接层。原创 2023-07-05 14:20:40 · 898 阅读 · 0 评论 -
通俗易懂的知识蒸馏 Knowledge Distillation(上)——理论分析
实际上,学生模型的中间网络层也可以学习教师模型的中间网络层输出结果,让学生模型的中间网络输出结果拟合教师模型的中间网络输出结果,如下图所示。这就好比一个教授教授一个婴儿,一下学不会那就分开学。原创 2023-07-05 14:15:55 · 441 阅读 · 0 评论 -
Capsule Networks 胶囊网络
胶囊网络是Hinton老爷子近几年提出的一种新型的神经网络,他认为胶囊网络的设计更加符合人类神经元的原理,是未来可以替代传统神经网络的一种新的神经网络。原创 2023-03-26 14:04:15 · 567 阅读 · 4 评论