《深度学习入门》学习记录 Part2

这周主要是学习了《深度学习入门》的第四、五章节，了解了损失函数、数值微分、梯度、计算图、误差反向传播法和「神经网络学习」的整个过程。

在计算权重函数的梯度时，切实感受到了数值微分方法与误差反向传播法的差距。在使用数值微分算法实现神经网络学习的时，我电脑的呼呼呼的，等了好久好久都没计算成功。但是在使用误差反向传播法时，不到一分钟就处理完了。

概念

• 鞍点（saddle point）
• 学习高原：函数很复杂且呈扁平状时，学习会进入的平坦区。
• 超参数：人工设定的参数，有别于通过训练数据和学习算法自动获得的权重和偏置
• 正向传播(forward propagation)
• 反向传播(backward propagation)
• 复合函数：由多个函数构成的函数

神经网络的学习

从训练「数据」中「自动」获取最优权重参数的过程。

• 数据是学习的核心
• 自动是很了不起的

与其绞尽脑汁从零开始想出一个算法，不如考虑通过有效利用数据来解决问题。

• 问题 -> 人想到的算法 -> 答案
• 问题 -> 人想到的特征量 -> 机器学习 -> 答案
• 问题 -> 神经网络（深度学习） -> 答案

泛化能力
处理未被观察过的数据的能力，是机器学习的终极目标。
为了正确评价模型的泛化能力，必须划分「训练数据」和「测试数据」。

• 训练数据：用来学习，寻找最优参数，也称为「监督数据」
• 测试数据：用来评价模型的能力，避免过拟合（over fitting）

损失函数（loss function）

损失函数是神经网络的学习中使用的指标，表示当前的神经网络对监督数据在多大程度