1,Introduction
其中Y是标签,X是输入。基于能量的机器学习模型即是寻找这样一个函数,和输入数据越接近,能量越小。给定一个输入,最好的模型即是对应的Y的值是真实值,这个真实值的能量是最小的。
此模型可以做的工作有:预测、Ranking、Detection、条件概率密度估计。
上图是Gibbs 分布,用这个函数可以进一步的将能量函数,转换为给定X情况下Y的不同取值的概率的计算公式。因此,一般基于能量的算法,一般是先利用训练数据,计算出能量函数中的未知参数,使能量函数在训练数据时的能量最小,然后利用得到的能量函数,gibbs分布函数来得到概率模型。
2,Energy-Based Training: Architecture and LossFunction
训练模型即是在一个函数族内找到一个最优的能量函数,这个函数族的参数是W
通过最小化代价函数来找到最优的解