1、深度学习的优势
(1)从统计,计算的角度看,DL特别适合处理大数据
a、用较为复杂的模型降低模型偏差
b、用大数据提升统计估计的准确度
c、用可扩展的梯度下降算法求解大规模优化问题
这个大数据是除了数量上的大,还有更重要的是维度的大,很多算法本身是无法处理高纬度数据的,例如Kernel学习机相关的算法, 虽然理论上是先将数据向高维空间映射,然后在高维空间进行线性的求解,实际上在处理的时候还是回到原空间处理。传统的BP算法针对高维的数据也是效果不佳。
CNN等为什么对图像领域更加有效,因为其不但关注了全局特征,更是利用了图像识别领域非常重要的局部特征,应该是将局部特征抽取的算法融入到了神经网络中。图像本身的局部数据存在关联性,而这种局部关联性的特征是其他算法无法提取的。深度学习很重要的是对全局和局部特征的综合把握
(2)深度学习不是一个黑箱系统。它像概率模型一样,提供一套丰富的、基于联接主义的建模语言。利用这套语言系统,我们可以表达数据内在的丰富关系和结构。比如用卷积处理图像中的二维空间结构,用递归神经网络(Recurrent Neural Network)处理自然语言等数据中的时序结构
(3)深度学习几乎是唯一的端到端的学习系统
它直接作用于原始数据,自动逐层进行特征学习,整个过程直接优化目标函数。
2、深度学习在图像识别中的发展趋势
(1)模型层次不断加深
2012Alex 获得ImageNet 冠军,其所用的AlexNet5个卷积层 3个pool层 和2个全连接层
2014年获得ImageNet的GoogleNet,使用了59个卷积层,16个pool层和2个全连接层。
2016年微软的ResNet深度残差网络,用了152层的架构