学习总结

一、LinearRegression线性回归

1. 概括
   线性回归是利用最小二乘法，对一个或者多个自变量和因变量之间的关系进行建模的一种回归分析。
   2.基本要素
   线性回归的基本要素包括模型、数据集、损失函数和优化函数，其中小批量随机梯度下降在深度学习中被广泛使用。
   3.线性回归模型从零开始的实现
   步骤：
   1.生成数据集（或原有的数据集）
   2.读取数据集
   3.初始化模型参数
   4.定义模型
   5.定义损失函数
   6.定义优化函数
   二、Softmax与分类模型
   softmax用于多分类过程中，它将多个神经元的输出，映射到[0,1]区间内，可以看成概率来理解。
   
   
   三、多层感知机
   1.重点
   一个多层感知机的神经网络，包含输入层、隐藏层和输出层
   
   2.激活函数
   全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。
   ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素 x ，该函数定义为
   ReLU(x)=max(x,0).