神经网络初学

• epochs：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch。随着epoch数量增加，神经网络的权重的更新次数也增加，曲线从欠拟合到过拟合。
• batch_size：批量尺寸。batch_size的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。
• batchsize与一次epoch迭代次数的关系是：单次epoch=(全部训练样本/batchsize)/iteration=1。batchsize提高，单次epoch的迭代次数减少。
• 经验总结：相对于正常数据集，如果batch_size过小，训练数据会很难收敛，从而导致underfitting。增大batch_size，相对处理速度加快.
• 一个迭代=一个正向通过+一个反向通过。一个迭代是使用batchsize个样本训练一次。
• 一个epoch=所有训练样本的一个正向传递和一个反向传递。一个epoch是使用所有训练集中的全部样本训练一次。
• 梯度检验
• numpy提供了一个高性能的多维数组（矩阵）对象。一个numpy数组是一些类型相同的元素组成的类矩阵数据。
• 得分函数score function：将原始数据映射到每个类的打分的函数。
• 损失函数loss function：用于量化模型预测结果和实际结果之间吻合度的函数。当得到损失函数后，问题就变成了一个最优化的问题，目标是得到让损失函数取值最小的一组参数。
• N层神经网络，通常不会把输入层计算在内。神经元的个数也不包括输入层的神经元个数。
• 永远不要用减少层数和神经元的方法来缓解过拟合！这样会极大地影响神经网络的表达能力。可以用正则化或其他方法来缓解这个问题。在实际问题中，还是得用多层多神经元的大神经网络，然后使用正则化来