花书笔记

岁数大了，过两天就忘。赶紧记几笔。

 

混合概率密度网络，一个x对应多个输出y的时候用。用多个高斯分布来模拟，网络的输出是高斯分布里的u和sigma还有各个高斯分布的权重。训练集里的y是高斯分布里的输入，就是y-u/sigma里的y。损失函数是求出的联合概率密度应该最大。

 

为啥网络越深越好，可以参考设计软件，模块间关系组织的好，可以通过函数调用实现功能，而不是把代码黏贴的到处都是。

 

maxout，每两个结点之间再有个隐层，然后，再取里面的最大值。模拟出来的是一段一段的，为啥是一段一段的折线呢。因为是最某个输出的最大值嘛，这一段取的 a，a对应曲率就是这一段的曲线。

 

dropout，去除噪音的采样技术，每个权重再乘个概率，以一定的概率为0。