《深度学习》花书学习笔记—第一章（机器学习、表示学习、深度学习）

孤风寻觅

已于 2024-09-20 20:21:05 修改

阅读量840

点赞数 14

分类专栏：深度学习文章标签：深度学习学习笔记

于 2024-09-18 17:32:16 首次发布

本文链接：https://blog.csdn.net/swilder__218/article/details/142339041

版权

2 篇文章 0 订阅

订阅专栏

Deep Learning是Ian GoodFellow, Yoshua Bengio 和 Aaron Courville合著的深度学习的书籍，涵盖深度学习各个领域，从基础到前沿研究。因为封面上有人工智能生成的鲜花图像，人送外号“花书”。

第一章引言

需求：期望通过智能软件自动地处理常规劳动、理解语音或图像、帮助医学诊断和支持基础科学研究。
难点： 人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。
方法：让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。基于这个原因，我们称这种方法为AI深度学习。

难点：许多人工智能任务都能通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。难点在于提取哪些特征？
解决方法：使用机器学习来发掘表示本身（自提取特征），而不仅仅把表示映射到输出。→表示学习
表示学习的例子：自编码器=编码器函数（将输入转换不同表示）+解码器函数（将表示转换原形式），其训练目标是保留更多信息+新表示有各种好特性。
变差因素：分离出能解释观察数据。语音记录--变差因素包括说话者的年龄、性别、他们的口音和他们正在说的词语。汽车图像--变差因素包括汽车的位置、它的颜色、太阳的角度和亮度。
难点：从原始数据中提取如此高层次、抽象的特征是非常困难的。许多诸如说话口音这样的变差因素，只能通过对数据进行复杂的、接近人类水平的理解来辨识。
解决方法：深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。→深度学习

定义：通过较简单概念构建复杂的概念，比如图1.2 将图像转换抽象的特征（边，角，轮廓）
深度学习的“深”：目前主要有两种度量模型深度的方式。第一种方式是基于评估架构所需执行的顺序指令的数目。另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。
深度学习与表示学习，机器学习关系：图1.4展示深度学习是一种表示学习，也是一种机器学习，可以用于许多（但不是全部）AI方法。图1.5展示三者区别在于机器学习是手工设计特征，表示学习是自提取特征，深度学习简单特征到抽象特征。

1940-1960，控制论（深度学习雏形）。最早的前身是从神经科学出发的简单线性模型（→人工神经网络）。线性模型是基于感知机[根据输入学习权重]+自适应线性单元ANALINE[返回函数 f(x)本身的值来预测一个实数],局限在于不能模拟非线性关系。
1980-1990，联结主义或并行分布式计算。其思想是系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。这个时期成果很多，比如现在常用的反向传播算法（back propagation)还有自然语言处理中常用的长短期记忆LSTM(第十章讲递归神经网络时详谈）都来自与这个时期。之后由于很多AI产品期望过高而又无法落地，研究热潮逐渐退去。
2006-至今，深度学习。深度学习又重新火热起来主要是由于三点原因：