卷积特征和网络深度！

       在目前的深度学习的比较主流的看法就是网络深度越深，那么学习能力就越强。我的理解是网络越深的话，那需要的原始的特征就就越少；而较浅的网络需要的原始特征就越多。在这里我喜欢用中文和英文的学习来对比。对英文来说，原始特征只需要二十六个拉丁字母就可以了，而他的原始特征的组合特征是非常多的，牛津大辞典里面总共收录了17万左右的特征。而中文按照gb2312编码库里面收录了6763个汉字，可以看到原始特征比较英文多了几百倍。这个就导致了在英文环境下的第二层特征冗余的比较多，也就是同义词比较多；而中文的组合特征的冗余比较少，同义词比较少。比较下中国人学习英文和外国人学习中文，哪个的学习难度是比较困难的。从目前来看，应该是英文入门简单，中文入门难。从语言的深度来看，英文由于组合的太多，所以会不断的组合新的词汇，而不是使用更高级的特征比如句子来给出新的概念。而中文的深度，同一个原始特性组合必须在更高层的语境下，才能识别。这个也许就是在相同学习深度下的中国人相比相同深度下外国人的学习能力应该要强一些，也说明中文的原始特征应该比英文的原始特征要高级很多，英文的二十六个字母，没有实际的意义，而中文的原始特征每一个都有自己的意义，相当于是英文的原始特征的上一层的组合。
        所以英文训练出来的网络深度必须要比中文训练出来的网络深度要更深才能达到同样学习效果。但是网络的深度越深，训练也就越难，一旦突破就会天差地别。这也许就是一般中国人比外国人聪明，但是顶尖的似乎外国人居多的原因吧。