本文探讨了《Quantum Neural Networks》中关于信息scrambling的原理，指出在训练过程中，输入和输出信息间的三方信息先升至局部峰值后下降，与损失函数变化相吻合。三方信息的减小表明网络逐渐学习到输入数据的全面特征，可作为评估神经网络性能的指标。论文中提及的三方信息与损失函数关系的深层原因尚不清晰，引发进一步研究兴趣。
本次解读的论文是发表在PRL上的《Information Scrambling in Quantum Neural Networks》[1]
原理
作者的思想其实很简单，我们知道神经网络的作用就是从输入的杂论信息提取特征信息。然后作者在网络训练过程中，求出了输入信息和输出信息之间的三方信息，并且和损失函数变化进行比较，发现他们之间的关系-三方信息开始急剧上升到局部最大值而后减小，和损失函数开始减小缓慢的转折点吻合。如下图：
三方信息后面为什么会减小？
（这一块分析其实没多大看懂）
三方信息公式：
一开始，QNN学习到数据只是输入数据的小部分特征，所以整个三方信息会很大。到了训练的后阶段，QNN要想学习整个输入的数据的全部特征，则必不可少的混入杂项信息&#
最低0.47元/天 解锁文章
扫一扫
1679
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
