深度学习是机器学习的一个特定的分支。所以先总结机器学习的相关知识点。
学习的定义:Mitchell (1997) :对于某类任务 T 和性能度量P,一个计算机程序被认为可以从经验E 中学习是指,通过经验E 改进后,它在任务 T 上由性能度量P 衡量的性能有所提升。
T 通常机器学习任务定义为机器学习系统该如何处理样本 (example)。样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征 (feature)的集合。我们通常会将样本表示成一个向量 x ∈ R n ,其中向量的每一个元素 x i 是一
个特征。例如,一张图片的特征通常是指这张图片的像素。
P 通常性能度量P 是特定于系统执行的任务 T 而言的。就分类问题来讲,准确率和错误率是常见的度量准则。准确率是指该模型输出正确结果的样本比例。错误率是指该模型输出错误结果的样本比例。
E 根据学习过程中的不同经验,机器学习算法可以大致分类为无监督 (unsupervised) 和监督 (supervised)。无监督学习算法 (unsupervised learning algorithm) 训练含有很多特征的数据集,然后学习出这个数据集上有用的结构性质。监督学习算法 (supervised learning algorithm) 训练含有很多特征的数据集,不过数据集中的样本都有一个标签 (label) 或目标 (target)。