第二周作业：多层感知机

一、线性神经网络

     1、线性模型

权重决定了每个特征对我们预测值的影响。偏置是指当所有特征都取值为0时，预测值应该为多少。

 线性模型可以看做是单层神经网络，只有一个输入层和一个输出层

2、损失函数

损失函数能够量化目标的实际值与预测值之间的差距。通常我们会选择非负数作为损失，且数值越小表示损失越小，完美预测时的损失为0。回归问题中最常用的损失函数是平方误差函数。当样本ii的预测值为y^(i)y^(i)，其相应的真实标签为y(i)y(i)时，平方误差可以定义为以下公式：

在训练模型时，寻找一组参数（w∗,b∗w∗,b∗），这组参数能最小化在所有训练样本上的总损失。

 3、softmax回归

 softmax回归本质上是分类问题：回归估计一个连续值，分类预测一个离散类别

 但是，一般的分类问题并不与类别之间的自然顺序有关。表示分类数据的简单方法为：独热