基于python手写深度学习网络系列（5）神经网络的学习能力

基于python手写深度学习网络系列（5）

神经网络的学习能力

学习就是从训练数据中自动获取最优权重参数的过程

这里所说的“特征量”是指可以从输入数据（输入图像）中准确地提取本质数据（重要的数据）的转换器，常用的计算机视觉领域的特征量包括SIFT、SURF、HOG，将数据一般转化成向量的形式，然后再使用SVM，KNN等分类器进行学习（这是机器学习的过程）

为了正确评价模型的泛化能力，就必须划分训练数据和测试数据。另外，训练数据也可以称为监督数据，泛化能力就是处理训练数据之外的数据的能力。

过拟合（over fitting）

损失函数一般使用均方误差（mean squared error）和交叉熵误差等

Yk是神经网络的输出，tk是监测数据，k是维度

将正确解标签表示为1，其他标签表示为0 的表示方法称为one-hot 表示。

交叉熵误差

在考虑训练数据集时就要考虑所有数据损失函数的总和，交叉熵误差就会变成下面这样

我们从全部数据中选出一部分，作为全部数据的“近似”。神经网络的学习也是从训练数据中选出一批数据（称为mini-batch,小批量），然后对每个mini-batch 进行学习

在大量数据中抽取十个数据可以用np.random.choice()