关于hopfield网络，boltzmann机

motivation：将大脑的记忆定义为联想行为，auto-completing功能

hopfield网络

中每个神经元都和其他神经元相互连接，且双向传递信息

所谓记忆，即对网络中的记住的神经元状态进行微扰后，神经元能够再次更新会原记忆状态。

hopfield网络是一个动态系统，每一个时刻随机选择一个神经元，并更新该神经元，直至神经元系统达到稳态，即所有神经元不再更新为止，神经元的更新方法如下，神经元只取值0/1

网络的权重对称，Wij=Wji,且Wkk=0，符合常识

可以证明，在动态系统不断迭代的过程中，网络的能量函数逐渐下降，直至稳定。

hopfiled网络的权重参数需要经过训练，训练的过程就是将记忆模式嵌入网络的过程，找到一个合适的权重使网络记住该模式（如图像），即perturb后能够自动复原

hopfield网络的串扰问题：当记忆模式过多时，不同模式互相干扰，网络就会混淆，无法还原出记忆内容，如下图

为了解决这一问题，玻尔兹曼机应运而生。

模拟退火算法：

                        1.附近邻居比当前点更好，则转移至附近邻居点

                        2.邻居比当前点差，也以概率转移过去（该概率取决于当前温度，冷却时为0）

boltzmann机：

boltzmann机将神经元划分为2类，可见单元和隐藏单元，可见单元受外部约束，即完成数据输入输出

boltzmann机本质上就是带有模拟退化算法的hopfield网络，让网络本身有一定概率跳出局部解

网络训练过程中也使用了模拟退化算法

网络权重训练的目标是最大化似然函数p(训练样本|θ)，即让可见单元表现为训练样本的状态的概率最大

受限玻尔兹曼机：

将玻尔兹曼机分为可见层和隐含层，层内没有连接权重，只能层间双向传递信息。

且不再使用模拟退化算法，概率函数固定为sigmoid函数