Task1: 线性回归；Softmax与分类模型、多层感知机知识点总结

线性回归

理解标签、特征两个重要概念

1. 特征（feature）：是一种输入（Input）; 用于预测标签的因素(attribute)；e.g. 房屋大小，地理位置等用于预测房价
2. 标签（label）：是一种输出（output）；最后的结果

损失函数和优化函数

损失函数：用于呈现预测值和真实值之间的差距（difference），数值越小误差越小（P.S.：通俗地说线性回归中，预测值是那条线上的点，真实值是围绕在那条回归直线或在回归直线上的点）

优化函数：优化函数适用于优化损失函数使误差变小，线性回归中通常使用梯度下降法（又分为：随机梯度下降、批量梯度下降以及小批量梯度下降（小梯度结合了前两者的优点））
小批量梯度下降：
1. 超参数：学习率（步长）、学习周期
2. 梯度：损失函数J(theta)针对theta求导
3. 新函数 = 旧函数 - 步长*梯度

Softmax 与分类模型

softmax回归的输出结果是一种离散的数值，它是一种分类模型； 同线性回归相同，它是一种单程神经网络，且输出层是全连接层。

然而，输出层的数据不适