本系列内容是对于Deep Learning一书的研读心得,将会在尊重原著及版权的基础上,加入一部分critical thinking。阅读请尊重Deep Learning原著版权。本系列欢迎评论转载,请注明出处。
本文中图片来源于原书Deep Learning,只用于学习交流,不得用于商业目的。
今天是正式开始读Deep Learning的第一天,决定了就要从头到尾学习一下,还是不要放松。
今天阅读的主体内容是CHAPTER 1. INTRODUCTION,主要讲解了整个AL领域重要的技术领域,相互关系,及重要的概念,大致梳理如下:
首先,这张图可以很形象地说明,我们平时很容易混淆的几个概念,人工智能,机器学习,表达学习,深度学习之间的关联。这几个概念呈现层层递进的关系,以deep learning为前沿和核心。
其中representation learning是平时接触较少的,这一方法,用于应对复杂问题难以手工定义并提取特征的困境。其实现策略,我认为书中给的解释非常切中肯綮,所以直接沿用:One solution to this problem is to use machine learning to discover not only the mapping from representation to output but also the representation itself.
这一系列方法呈现逐层递进的重要原因:
一是特征选择的方式,从传统AI与机器学习的手工设计提取特征,到表达学习与深度学习的将机器学习应用于特征选择本身、
二是将特征映射为输出的方式,表达学习及之前,机器学习是专门寻找特征到输出的映射关系的,使用的是“一步到位”的想法;深度学习所使用的是分层处理特征,逐步提高特征的抽象程度,最终映射为输出。
下图可以很好地说明这一点:
对于特征选择的重要性,书籍选用了一个做分类的例子来说明,即用一条线分开两类不同的数据,图示展示了在笛卡尔系下和极坐标系下的重大区别:
同时,今天阅读的内容,还讲解了如何确定一个深度学习模型的深度(depth)。这个概念是由模型的最大深度定义的。确定它,主要的两种方法,一是计算模型完成整个过程所需要的顺序指令;二是对于概念的抽象层数。举例说明的话,假设识别一张人脸图片,先是由像素识别脸上的器官,需要n次顺序指令的计算,再是由器官识别整张脸,需要n次顺序计算。第一种方法认为,2n是深度,因为共完成了2n次顺序指令;第二种方法认为,2是深度,因为从输入到输出,共完成了2次概念或者说特征的抽象。
这是一个很好玩的话题,因为似乎并没有统一的标准,还在很大程度上取决于编程所用的语言,及计算时选取的粒度。如下图所示,展示了对于基本元素选取的粒度不同,是如何影响模型深度的计算:
至此,今天的内容基本结束。