深度学习和传统机器学习的差别

特征构造

是否需要人工构造特征，这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分，sift，hog，wavelet等都是解决如何描述数据的问题。深度学习兴起后，feature engining的研究几乎停滞，而end-to-end成为一个新兴的研究方向。

传统机器学习中有一个分支：representation learning，研究目的是通过学习自动生成合适的特征，这和深度学习很相似。2013年 Bengio等人发表的文献Representation Learning: A Review and New Perspectives把深度学习的进展归类到representation learning的范畴内。

深度学习模拟人类视觉特征，把特征划分成low-level feature 和 high-level feature。比如在行人检测中，low-level feature是前几层网络学习到的特征，一般是边缘纹理特征；而深层网络学习到的high-level可能即使头部，躯干，手臂等特征，这种高级特征在传统机器学习中很少。DPM是深度学习之前目标检测的stat-of-art，其中有类似头部，手臂这类高级特征概念，但是以分类器的形式存在。

特征映射

把特征映射到目标空间，这是传统机器学习的核心。SVM，adaboost，random forest等都是解决如何把输入特征映射到目标空间，完成分类，回归等任务。深度学习初期在最后一层使用的就是SVM，前面的层作为特征提取模块存在，后来SVM被全链接层取代。全链接层因为参数多，计算量大，而卷积层通过参数共享大大降低了参数量，导致全链接层往往成为网络速度和大小的瓶颈。在语义分割任务中，因为每个像素都要分类，全链接层则完全被卷积层/反卷积层取代，每个通道表示一个类别。