深度学习（四）：深度生成模型DGM

深度系列主要为 我在国科大研一期间，在《深度学习》课程中所学知识概述，根据PPT制作思维导图，及其课后补充知识

--------------------------------------------------------------------------------------------------------------------------------

一、Hopfield网络

Hopfield网络的特点：①全互联网络；②单元之间的连接权重对称；③每个单元没有到自身的连接；④单元的状态采用随机异步更新方式，每次只有一个单元改变状态；⑤n个二值单元做成的二值神经网络，每个单元的输出只能是0或1的两个值。

异步（串行）方式：每次只有一个在变，其他的都保持不变。

同步（并行）方式：大家要变一起变，所有神经元一起变。

工作过程：一个动，全部动（因为有反馈）；初态——>稳态；输出不变了。街上见到人很熟悉，再想再想再想，小学同学。

初态（记忆样本的部分信息）——>异步或同步方式——>稳态（记忆样本，问题的解）

联想记忆就是当输入模式为某种状态时，输出端要给出与之相应的输出模式；网络能够通过联想来输出和输入模式最为相似的样本模式。如果输入模式与输出模式一致，称为自联想记忆，否则称为异联想记忆。

稳定性定义：Hopefield神经网络是高维非线性系统，可能有许多稳定状态。从任何初始状态开始运动，总可以到某个稳定状态。这些稳定状态可以通过改变网络参数得到。

稳定性证明：串行稳定性（W对称阵）、 并行稳定性（非负定对称阵）

根据输入模式联想输出模式时，需要事先确定连接权重，而连接权重j要对输入模式的训练样本进行训练后才能确定。和多层神经网络一样，一次训练并不能确定连接权重，而是要不断重复这个过程，直到满足终止判断条件，而这个指标就是Hopfield神经网络的能量函数E。

当需要记忆的模式之间的较为相似，或者需要记忆的模式太多时，Hopfield神经网络就不能正确地辨别模式。这种相互干扰、不能准确记忆的情况称为串扰（crosstalk）。Hopfield神经网络能够记忆的模式数量有限，大约是网络单元数的15%左右，为了防止串扰，可以采用先把模式的正交化再进行记忆等方法。但是正交化方法并不能完全解决问题，波尔兹曼机可以解决这一问题。

二、玻尔兹曼机与受限玻尔兹曼机

https://www.bilibili.com/video/BV1kJ41127aD?from=search&seid=12223555437945454128

如果发生串扰或陷入局部最优解，Hopfield神经网络就不能正确的辨别模式。而玻尔兹曼机（Boltzmann Machine）则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解。