神经网络取得成功的原因:
1)有逐层的处理(深度加工,(对特征)深层的逐层抽象)
决策树等也进行逐层处理,但1)其复杂度不够,最深的深度等于特征个数,2)决策树的学习过程中,它内部没有进行特征变换,始终在一个特征空间
boosting也类似
2)有特征的内部变化
3)有足够的模型复杂度
神经网络有万有逼近能力,但这个能力并不是神经网络所特有的
深度神经网络最本质的东西是什么:
特征学习或者表示学习
神经网络的缺陷:
调参的经验很难共享
可重复性差,同样的数据,同样的方法,只要超参数的设计不一样,结果可能就不一样