本文是关于深度玻尔兹曼机(DBM)的学习笔记，主要讨论预训练过程，特别是通过堆叠受限玻尔兹曼机(RBM)进行预训练，并涉及到了双计数问题及其对模型分布的影响。预训练包括使用RBM的几何平均近似真实后验概率，而在双计数问题中，通过采样可能导致分布过于尖锐。总结时指出，不同层的处理需要区别对待。
此文章主要是结合哔站shuhuai008大佬的白板推导视频：深度玻尔兹曼机_73min
全部笔记的汇总贴：机器学习-白板推导系列笔记
对应花书20.4
一、背景介绍
Δ W = ∂ ( E P D a t a [ v h T ] ⏟ p o s i t i v e p h a s e − E P m o d e l [ v h T ] ⏟ p o s i t i v e p h a s e ) \Delta W=\partial\Big({\underset{positive\;phase}{\underbrace{E_{P_{Data}[vh^T]}}}-\underset{positive\;phase}{\underbrace{E_{P_{model}}[vh^T]}}}\Big) ΔW=∂(positivephase EPData[vhT]−positivephase EPmodel[vhT])
P D a t a = P D a t a ( h , v ) = P D a t a ( v ) P m o d e l ( h ∣ v ) P m o d e l = P m o d e l ( h , v ) = P m o d e l ( v ) P m o d e l ( h ∣ v ) P_{Data}=P_{Data}(h,v)=P_{Data}(v)P_{model}(h|v)\\P_{model}=P_{model}(h,v)=P_{model}(v)P_{model}(h|v) PData=PData(h,v)=PData(v)Pmodel(h∣v)Pmodel=P
最低0.47元/天 解锁文章
扫一扫
14万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
