有这么几个有意思的知识
1.sigmoid,tanh,relu,prelu以及maxout,不同的激活函数
2.the deeper the better?
更深层次意味着更好的抽象。假设这个世界是可以用参数刻画的,我们能够做的是需要从数据中提取出来参数是什么,但是参数的数量和层级我们是不清楚的,就好象我们不能假设存在一组参数能够一次性的产生所有数据,还是参数也产生参数,所以从这个角度出发,我们估计的
p(θ|x)
就可以说是逐层抽象,也就是说,层数越深,那么所能够抽象的就更为准确,或者说更接近更高层次的表达,也就更简洁。
就好象
F = ma
但是在风阻、温度等条件不同的时候会有微微的调整,比如说F = ma + f 。所以我认为其实网络的深度的增加,意味着的是表达更加简洁,而曾数越浅,可能就是在某些情况下的表达罢了。所以越多的数据,越能够真实的刻画真正的网络。
这也就是,网络大了,容易过拟合,因为数据不足以支持这么大的参数来对背后的参数们进行估计。而数据多了,那么说明我们的参数们不够用了,如果放到历史的角度来看,就是我们所创造的物理定律不足以支持我们观察到的现象了。
所以,如果数据足够,在能够保证表达的情况下,the deeper the better。