深度学习和传统机器学习的差别

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/z0n1l2/article/details/83692963

特征构造

是否需要人工构造特征,这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分,sift,hog,wavelet等都是解决如何描述数据的问题。深度学习兴起后,feature engining的研究几乎停滞,而end-to-end成为一个新兴的研究方向。

传统机器学习中有一个分支:representation learning,研究目的是通过学习自动生成合适的特征,这和深度学习很相似。2013年 Bengio等人发表的文献Representation Learning: A Review and New Perspectives把深度学习的进展归类到representation learning的范畴内。

深度学习模拟人类视觉特征,把特征划分成low-level feature 和 high-level feature。比如在行人检测中,low-level feature是前几层网络学习到的特征,一般是边缘纹理特征;而深层网络学习到的high-level可能即使头部,躯干,手臂等特征,这种高级特征在传统机器学习中很少。DPM是深度学习之前目标检测的stat-of-art,其中有类似头部,手臂这类高级特征概念,但是以分类器的形式存在。

特征映射

把特征映射到目标空间,这是传统机器学习的核心。SVM,adaboost,random forest等都是解决如何把输入特征映射到目标空间,完成分类,回归等任务。深度学习初期在最后一层使用的就是SVM,前面的层作为特征提取模块存在,后来SVM被全链接层取代。全链接层因为参数多,计算量大,而卷积层通过参数共享大大降低了参数量,导致全链接层往往成为网络速度和大小的瓶颈。在语义分割任务中,因为每个像素都要分类,全链接层则完全被卷积层/反卷积层取代,每个通道表示一个类别。

展开阅读全文

没有更多推荐了,返回首页