神经网络基础（重要特征，数据是核心，过拟合，泛化能力，损失函数）

这篇博文真的很难梳理出来一个逻辑···就是个基础重点知识的杂碎集合，我使劲概括成了6个问题，将就将就

1、学习—>损失函数—>梯度下降

神经网络的重要特征就是可以从数据中学习, 即， 由数据自动决定最优的参数。
为了使NN进行学习，就必须引入损失函数。学习，就是以损失函数为基准，找出使它达到最小的参数。
为了找到尽可能小的损失函数的值，就要使用利用了函数斜率的梯度下降法。

2、为什么要用损失函数作为学习的基准，而不用识别精度？

因为如果使用识别精度作指标，则参数的导数在绝大多数地方都会为0。

假设现在只考虑某一个参数，那么对这个参数的损失函数求导，如果导数为负，表示损失函数是在减小的，斜率是负的，所以为了进一步减小损失函数，应该把这个参数增大，向正方向改变；如果导数是正的，说明损失函数的趋势是增大，所以不能把这个参数继续增大了，否则损失函数也会增大，所以要向负方向更新参数；如果导数是0，则损失函数在这个参数附近的取值都一样，不需要更新参数。
如果以识别精度为指标，稍微改变一点点权重参数的值，是无法改变识别精度的，识别精度对于微小的参数变化基本没有反应，所以大多数参数的导数都会是0，参数无法更新，就算改变了，也是不连续的，离散的值；但是如果用损失函数，稍微改变一点参数的值，他也会发生连续的变化。

3、 数据是机器学习的命根子

数据是机器学习的核心。机器学习就是要从数据中心发现模式，从数据中寻找答案···
机器学习以数据驱动，脱离了过往以人为中心的方法，而神经网络和深度学习则比传统的机器学习方法更能避免人为介入。

4、传统ML和NN/DL的对比（基于人工投入的角度）

传统机器学习方法：（仍需人工介入）

先从图像中提取特征量，再用机器学习技术学习特征量的模式,如用SVM,KNN等分类器学习。
特征量可以理解为一种转换器，把输入数据转换为里面包含的重要的数据，常用向量表示。但注意，把输入图像转换为向量的特征量仍然是人为设计的。不同的问题需要设计专门的合适的特征量。
计算机视觉领域常见特征量：SIFT SURF HOG

神经网络：（完全不需要人工介入）

NN直接学习图像本身。直接从原始数据中获得输出结果。所以深度学习有时被称为端到端的机器学习（end-to-end machine learning）
NN的优点是，对所有问题都用同样的流程解决。都是不断学习数据以发现求解问题的模式，和待处理的问题无关。

5、为什么要分为训练数据和测试数据两部分？

机器学习的任务把数据分为训练数据和测试数据两部分，先用训练数据学习到最优参数，再用测试数据评价训练出来的模型的实际性能。为什么要这么分？
因为机器学习的最终目标是获得泛化能力。我们追求的是模型的泛化能力。

泛化能力是指，处理未被观察过的数据（不在训练数据中的数据）的能力。比如，识别手写数字的模型用来识别手写的邮政编码，如果模型的泛化能力好，应该是可以胜任的。

6、 过拟合

和泛化能力有一点相近的一个概念叫做过拟合，但二者重点强调的点不一样。
过拟合over-fitting： 对某一个数据集过度拟合的状态。这会导致模型可以顺利处理这一个数据集的数据并且达到很高的识别精度，但是却完全不能处理其他数据集的数据。
避免过拟合也是机器学习的重要课题。