深度学习概念部分整理

1.机器学习（Machine learning）是一类基于数据或者既往的经验,优化计算机程序的性能标准的方法。
(1)首先，对于手写数字识别这个任务来说，数据或者既往的经验 就是我们已经收集到的手写数字，我们要让我们的程序从这些数据中 学习 到一种 能力/智能 ，这种能力就是：通过学习，这个程序能够像人一样识别手写数字。
(2)性能标准 就是指衡量我们的程序的这种 能力 高低的指标了。在识别任务中，这个指标就是识别的精度。给定100个手写数字，有99个数字被我们的“智能”程序识别正确，那么精度就是 99%99% 。
(3)优化 就是指我们基于既往的经验或者数据，让我们的“智能”程序变得越来越聪明，甚至比人类更加聪明。

2.监督学习（Supervised learning）：数据集既包含样本（手写字图片），还包含其对应的标签（每张手写字图片对应的是那个数字）
无监督学习（Unsupervised learning）：与监督学习相对，数据集仅包含样本，不包含样本对应的标签，机器学习算法需要自行确定样本的类别归属
强化学习（Reinforcement learning）：又称为增强学习，是一种半监督学习，强调如何基于环境而行动，以取得最大化的预期利益。

3.监督学习：经验风险最小化
监督学习，本质上就是在给定一个集合 (X,Y) 的基础上去学得一个函数：y=f(x)
风险 :函数 f 的风险，就是损失函数的期望值。
训练误差：模型在训练集上的误差
测试误差：模型在从未“见过的”测试集上的误差
欠拟合：模型即使在我们的训练集中识别的精度也很差
过拟合：当训练误差低但是测试误差高，即训练误差和测试误差的差距过大时
梯度下降（gradient descent）：通过向导数的反方向移动一小步来最小化目标函数（在我们机器学习中，也就是损失函数）的方法。

4.奥卡姆剃刀原则:在同样能够解释已知观测现象的假设中,我们应该挑选”最简单”的那一个。

5.人工智能是一个很大的定义，机器学习是人们在探索人工智能的过程中的一种思路（并不一定是一条通往终极人工智能的路，所以人工智能绝对不等于机器学习！），神经网络是机器学习中的一种监督学习算法，而深度学习则是将神经网络的层数增多，使用大量数据来建立的一种表示学习算法

6.神经网络呢实际上就是由这么一些神经元通过连接组合而成。前一个神经元的尾部（输出）连接到后一个神经元的一个输入，这样便形成了一个层次状的机构，那么在整个神经网络的第一层，我们称之为 输入层(input layer)，它的输入数值便是我们的数据，最后一层我们称之为 输出层(output layer)，中间的若干层被称为 隐含层（hidden layer） 。神经网络的强大之处就在于，通过改变神经网络的结构和参数规模，神经网络能够拟合任意函数！

7.Softmax函数能将一个含任意实数的K维的向量 z 的“压缩”到另一个K维实向量 σ(z) 中，使得每一个元素的范围都在 (0,1) 之间，并且所有元素的和为1。