线性神经网络——线性回归

 3.1线性回归

回归是能为一个或多个自变量与因变量之间关系建模的一类方法。在机器学习领域中，大多数任务与预测有关。预测一个数值时，与回归有关。

3.1.1线性回归的基本元素

数据集：训练数据集或训练集

每行数据：样本，数据点，样本数据

预测的目标：标签或目标

自变量：特征

 

3.1.1.1线性模型

权重w：决定每个特征对预测值的影响

偏置b：所有的特征取值为0，预测值是多少

给定一个数据集，线性回归的目标是寻找模型的最佳的权重w和偏置b使损失函数最小.

使模型做出的预测准确寻找最好的模型参数w和b，需要做的

1.模型质量的度量 2.提高模型预测质量的方法

3.1.1.2损失函数

量化目标与实际值与预测值的差距，最常用平方误差函数.

 

为了度量模型的质量，计算在训练集N个样本的损失均值

 在训练模型时，寻找一组参数（W*,b*）。使损失函数最小

 

3.1.1.3 随机梯度下降

梯度:函数对x,y的偏导数。函数变化增加最快的地方。沿梯度方向，就是f增加最快的地方。损失函数沿着梯度的反方向，梯度减少最快，找到最小值。

随机梯度下降:不断的在损失函数递减的方向上 更新参数 降低误差

梯度下降的用法：计算损失函数关于模型参数的导数，在每次计算更新的时候，随机抽取一小批量样本B。计算小批量的平均损失关于模型参数的导数（梯度），然后梯度乘*正数n学习率。然后取负号。

算法步骤:

1.初始化模型参数的值，随机初始化

2.从数据集随机抽取小批量样本，负梯度更新参数，不断迭代。

二，线性回归

线性模型：

1.给定的n维输入

2.线性模型有一个n维权重

 标量偏差b

3.输出是输入的加权和

 向量表示 y =<w,x>+b

线性模型可以看作单层的神经网络

4.L2Loss平方损失

5.收集一些数据，来决定参数的值（权重和偏差）

6.训练损失：平均的损失值

 最小化损失 来学习参数

 【总结】

 

 

三。优化方法 

 1.梯度下降

 

①挑选一个初始值w0

② 重复迭代参数 t=1,2,3

 梯度下降的公式

 

 学习率:步长，不能太大，也不能太小

梯度方向，上升最快的方向。沿着负方向就是下降最快的。

2.小批量随机梯度下降：

梯度：对损失函数求导、

随机采样b个样本