动手学深度学习3

三、线性神经网络

仿射变换（affine transformation）:仿射变换的特点是通过加权和对特征进行线性变换（linear transformation）,并通过偏置项来进行平移（translation）。

损失函数（loss function）：损失函数能够量化目标的实际值与预测值之间的间距。回归问题中最常用的损失函数是平方误差函数。

随机梯度下降：梯度下降的方法通过不断地在损失函数递减的方向上更新参数来降低误差。

梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数（在这里也可以称为梯度)。但实际中的执行可能会非常慢:因为在每一次更新参数之前，我们必须遍历整个数据集。因此,我们通常会在每次需要计算更新的时候随机抽取一小批样本,这种变体叫做小批量随机梯度下降(minibatchstochastic gradient descent)。

神经网络图：只显示连接模式，即只显示每个输入如何连接到输出，隐去了权重和偏置的值。

        输入层的输入数（或称为特征维度，feature dimensionality）为d。上图所属的网络层数为1。所以线性回归模型称为单层神经网络。对于线性回归，每个输入都与每个输出（上图中只有一个输出）相连，这种变换称为全连接层（fully-connected layer）或稠密层（dense layer）。