0.此为《Hinton大师解析神经网络(neural_network)、信念网络(belief_net)、玻尔兹曼机(RBM) . ppt》的读书笔记。但是将会作为专题的形式,不断补充此专题。
1.我们将使用belief net 这一模型来解决两个问题:
1)推理问题。由已知数据推理。(推理有四种情形)
2)学习问题。调整net的权重,以便于产生已知数据。
2.深信网:
难以根据所有隐层分布推断出后继的权重;
难以从后继中取样。
3.Explaining away (解释竞争。自己的翻译,其中解释为名词):即便两个原因是独立的,但是,某个(我们观测的)结果是由上述两个原因影响的的。
4.为什么S型深信网 一次学习一层困难呢?
1)解释竞争,使后继权重复杂
2)后继权重依赖于前驱权重和似然
3)需要整合所有的分布获得第一隐层的前驱权重