CS231n Neural Networks Part 1: Setting up the Architecture

有这么几个有意思的知识

1.sigmoid，tanh，relu，prelu以及maxout，不同的激活函数

2.the deeper the better?
更深层次意味着更好的抽象。假设这个世界是可以用参数刻画的，我们能够做的是需要从数据中提取出来参数是什么，但是参数的数量和层级我们是不清楚的，就好象我们不能假设存在一组参数能够一次性的产生所有数据，还是参数也产生参数，所以从这个角度出发，我们估计的$p(\theta|x)$就可以说是逐层抽象，也就是说，层数越深，那么所能够抽象的就更为准确，或者说更接近更高层次的表达，也就更简洁。
就好象

F = ma

但是在风阻、温度等条件不同的时候会有微微的调整，比如说F = ma + f 。所以我认为其实网络的深度的增加，意味着的是表达更加简洁，而曾数越浅，可能就是在某些情况下的表达罢了。所以越多的数据，越能够真实的刻画真正的网络。

这也就是，网络大了，容易过拟合，因为数据不足以支持这么大的参数来对背后的参数们进行估计。而数据多了，那么说明我们的参数们不够用了，如果放到历史的角度来看，就是我们所创造的物理定律不足以支持我们观察到的现象了。

所以，如果数据足够，在能够保证表达的情况下，the deeper the better。