深度学习基础(1):线性回归

线性回归(linear regression)

1.概念：线性回归用于拟合标签与各个特征成线性关系的训练数据集，求出各个特征的权重(w1,w2)和偏差(b)，对给定新的特征实现标签的预测

2.表达式：y＝xw ＋ b，w为加权组成的列向量，x为行代表样本，列代表特征的二维矩阵，b代表偏差(offset)

3.定义损失函数 l = (xw + b - y)**2/2(平方损失)

4.算法:小批量随机梯度下降。定义一个批量大小(batch_size)，初始化权重(w1,w2)和偏差(b)，从给定数据集中每次读取一个小批量，每个小批量都包含n个样本和标签，对这个样本的平方损失函数自动求w和b的梯度，然后对w和b更新，                              w = w - lr *w.grad/batch_size ，b = b-lr*b.grad/batch_size。

5.超参数：batch_size和lr(学习率)