李宏毅 Deep learning theory P2 1-2 Potential of deep

最佳状况，有些pattern是不可能出现的

deep的产生更多线段的感觉是在折纸

只增加深度，宽度不变，线段的个数是指数上升的

只增加宽度，不增加深度，线段的个数是线性变化的

增加每层噪声来观察结果，靠前层数的权值影响较大，类似于折纸，前面的几层是在折纸，后面的几层是在剪纸

 

using deep structure to fit functions

刚才的理论给出的是upper bound，所以shallow可能并没有在最佳的状态

所以接下来要比较shallow的network竭尽全力的状态