深度学习笔记No.01

发展介绍

• 去解决人容易执行，但很难形式化描述的任务。
• 对于学习最朴素的理解其实就是调整数据特征各自的重要性。
• 数据的特征直接影响着学习的难度及最终结果的好坏。
• 特征到特征的学习，就称为表征学习或表示学习。
• 深度学习模型可以说是受生物大脑（无论人类大脑还是动物大脑）启发的工程系统。
• 神经认知机受到哺乳动物视觉系统的启发，引入了一种强大的图像处理模型结构，并在之后成为卷积神经网络的基础。
• 深度学习领域主要关心怎样构建计算机系统，来成功地解决所需的智能任务。
• 深度学习是机器学习的一个重要分支。

学习算法

对于某类任务T（Task）和性能度P（Performance Measure），如果一个计算机程 序在某项任务T中，其性能P能够随着经验E（Experience）而自我完善，那么我们就称这个计算机程序在从经验中学习。

1. 学习任务
   常见的机器学习任务
   1.1 分类
   1.2 回归
   1.3 机器翻译
   1.4 结构化输出
   1.5 异常检测
   1.6 降噪
2. 性能度量
   查全率与查准率
   查准率与查全率是一对“鱼”与“熊掌”，一般来说，查准率高时，查 全率往往偏低；而查全率高时，查准率往往偏低。
3. 学习经验
   3.1 监督学习算法：试图将已知数据与该数据所对应的标记或类标 （label）进行关联。
   3.2 非监督学习：就是在没有指导（标记）的前提 下，学习数据集内部的有用结构。最常见的非监督学习算法是聚类。

有时数据需要从环境中获取，而数据对应的标记也要从环境中获 取，我们并不提供标记数据，我们只提供某种评价机制（奖励或惩罚），这样的学习方式称之为强化学习（Reinforcement Learning）。

代价函数

机器学习中绝大多数任务都是优化任务，也就是去寻找最优解。
绝大多数机器学习算法学习的过程，其实就是在调整数据特征的重要性。
由于深度学习构造的函数非常复杂 （模型容量大），因此深度学习会存在很多局部最优解（数据高维时鞍 点更普遍），这也是深度学习所面临的最困难的挑战之一。

梯度下降法

主要考虑两个问题：一是方向（梯度），二是步长 （学习率α）。方向决定是否走在正确的道路上，而步长决定了要走多 久才能到达目的地（错误率最低处）。

过拟合与欠拟合

当机器学习算法在训练数据上错误率较高时，我们就说这是欠拟合现象；当机器学习算法的测试错误率与训练错误率差距较大时，我们就说这是过度拟合现象。

正则化

就是想要降低泛化错误率但不降低训练错误率而修改机器学习算法的一系列方法。

超参数与验证集

我们可以很粗浅地认为，机器学习其实就是通过一些优 化手段去调整数据权重w（参数）。我们也了解到了梯度下降中的学习率α（步长）和正则化中权重衰减的惩罚因子λ都对机器学习算法的最终性能产生着巨大的影响，在学习过程中我们需要不停地调整学习率与惩罚因子。

• 我们目前说到的学习，通俗点也可以说是去寻找最佳的权重w，而 学习率与惩罚因子这些设置，其实就是帮助我们去寻找最佳的权重，这 些设置控制着机器学习算法的行为，我们就将其统称为超参数。
• 虽然超参数与参数我们都需要去调整，但通常针对参数的调整叫作学习，而对超参数的调整叫作选择。
• 我们将已知数据分成两大部分，一部分用于训练，一部 分用于测试。而在训练数据集中我们又可分为两部分，一部分用于学习参数，我们称为训练数据集；一部分用于选择超参数，我们称之为验证 数据集。而最终性能测试的数据，我们称为测试数据集。
• 验证数据是帮你去选择超参数的，虽然验证数据不直接参与训练过程，但进行超参数选择的时候，其实也间接地包含在整个学习过程中。