DeepLearning花书阅读记录(1)

DeepLearning阅读记录(1)

• DeepLearning花书中文版PDF

1 引言

• 计算机可以轻易解决一系列形式化数学规则来描述的问题，但难以解决对人来说容易执行但难以形式化描述的任务（如识别人说话/图像中的人脸）
• 解决方案：计算机从经验中学习，以层次化概念（通过与简单概念间的关系定义）体系理解世界
• 硬编码：设计足够复杂的形式化规则来精确描述世界，计算机使用逻辑推理规则自动理解形式化语言声明
• 机器学习：系统需具备自己获取知识的能力，从原始数据中提取模式的能力；解决涉及现实世界知识问题并作出主观决策
  • 算法：逻辑回归，朴素贝叶斯···
  • 性能：依赖于给定数据的表示(特征)
• 人工智能任务：提取合适特征集->特征提供给机器学习算法
• 表示学习：使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。(最少人工干涉)
  • 例子：自编码器（希望尽可能多的保留信息，希望新的表示有好的特征，实现不同特性设计不同形式自编码器）
    • 编码器函数：将输入数据转换为一种不同的表示
    • 解码器函数：将新的表示转换到原来的形式
• 变差因素：设计特征/学习特征的算法时，分离出能解释观察数据的数据抽象。（困难:多/高层次因素）
• 深度学习：通过其他简单的表示来表达复杂表示,让计算机通过简单概念构建复杂概念
  • 深度学习模型：前馈神经网络/多层感知机MLP(multilayer perceptron)
    • 多层感知机：将一组输入映射到输出值的数学函数（该函数由许多简单函数复合而成）
• 解释深度学习的视角：
  • 学习数据的正确表示的想法
  • 深度（促使计算机学习一个多步骤的计算机程序）
    • 1. 基于评估架构所需执行的顺序指令的数目为模型深度
    • 2. 将描述概念彼此如何关联的图的深度视为模型深度
• 深度学习是一种特定类型的机器学习
  
  

1.1 面向读者

• 学生/打工人
• 全书分三个部分：
  • 一、数学(线代 概率论)/机器学习基础
  • 二、成熟深度学习算法
  • 三、展望性想法
• 假设具备计算机科学背景，熟悉编程，对计算性能、复杂性理论、微积分、图论有了解

1.2 深度学习历史趋势

• 有悠久丰富历史，随哲学观点消逝，名称尘封
• 训练数据集增加，深度学习变得更有用
• 硬件改善，模型规模增长
• 用于解决复杂应用，精度提高

1.2.1 神经网络名称/命运变迁

• 20c40s-60s 出现在控制论中
• 20c80s-90s 联结主义
• 2006 深度学习 复兴
• 深度学习神经观点启发于：
  • 逆向大脑背后的计算原理，并复制其功能
  • 理解大脑和人类智能背后的原理
• 深度学习前身：从神经科学的角度出发的简单线性模型
• 线性模型（局限性：无法学习异或函数）
  • 感知机：为第一个能根据每个类别的输入样本来学习权重的模型
  • 自适应线性单元（ADALINE）：简单地返回函数 f(x) 本身的值来预测一个实数，学习从数据预测这些数
    • 用于调节ADALINE权重的训练算法：随机梯度下降的一种特例
        
• 20c80s 神经网络二次浪潮⬅联结主义/并行分布处理浪潮
  • 联结主义：将大量简单的计算单元连接在一起时可以实现智能行为
  • 分布式表示：每个输入由多个特征表示，每个特征参与到多个可能输入的表示
  • 反向传播：训练深度模型的主导方法
• 20c90s 神经网络序列建模
  • 长短期记忆（long short-term memory, LSTM）网络
• 2006+ 第三次浪潮
  • 深度信念神经网络➡贪婪逐层预训练策略
  • 可训练许多其他类型的深度网络
  • 可系统地提高测试样例上的泛化性能

1.2.2 与日俱增的数据量

• 训练数据增加，学习表现提升
• 侧重于如何通过无监督或半监督学习充分利用大量的未标注样本

1.2.3 与日俱增的模型规模

• 们现在拥有的计算资源可以运行更大规模模型，更大的网络能够在更复杂的任务中实现更高的精度

1.2.4 与日俱增的精度、复杂度和对现实世界的冲击

• 20c80s 精确识别和预测的能力一直在提高
• 图像识别与分类：可处理图像尺寸增加 不再需要裁剪 可识别种类增加 错误率降低
• 语音识别：错误率陡然下降
• 行人检测和图像分割；交通标志分类
• 强化学习：在没有人类操作者指导的情况下，通过试错来学习执行任务
• 进步严重依赖于软件基础架构的进展