【动手学深度学习】线性神经网络

1.线性回归基本概念

回归:能为一个或多个自变量与因变量之间关系建模的一类方法。表示输入和输出之间的关系,通常与预测有关,但不是所有的预测都是回归问题
注:

• 回归和分类
  预测包括分类和回归，若预测的是离散值,比如好瓜和坏瓜,则是分类问题；若预测的是连续值,比如西瓜熟度0.95,0.55,则是回归问题。
• 预测和回归
  预测是目的,回归是工具，即除了回归外还可以使用决策树,神经网络等。
• 回归和自回归
  回归是建立模型，描述输入和输出之间的关系；自回归是时间序列模型，训练得到的模型表示了随时间变化的y之间的相互依赖性与相关性，即用当前预测的字符再去预测接下来的信息。
  线性回归的基本元素
  线性回归是回归问题中最简单且最流行的。线性回归基于几个简单的假设:首先,假设自变量x和因变量y之间的关系是线性的，即y可以表示为x中元素的加权和,这里允许观测值的一些噪声；其次，假设噪声都比较正常，如噪声遵循正态分布。
  注:
  噪声:样本中有问题的点
  线性模型
  
  
  (通常用“尖角”符号表示y的估计值）
  在开始寻找最好的模型参数w和b之前，还需要
• 一种模型质量的度量方式
• 一种能够更新模型以提高模型预测质量的方法。

损失函数
损失函数(loss function):量化目标的实际值与与预测值之间的差距。通常选择非负数作为损失，且数值越小损失越小，完美预测时的损失为0
平方损失函数:回归问题中最常用的损失函数

解析解
将损失关于w的导数设为 0,可以得到解析解
随机梯度下降
随机梯度下降:该方法几乎优化所有的深度学习模型,它通过不断地在损失函数递减的方向上更新参数来降低误差。
算法的步骤:
(1)初始化模型参数的值，如随机初始化
(2)从数据集中随机抽取小批量样本且在负梯度的方向上更新参数,并不断迭代这一步骤
注:

• 超参数:可以调整但不在训练过程中更新的参数，学习率和批量大小都是超参数
• 调参:选择超参数的过程
• 泛化:寻找一组参数使其在未见过的数据集上有较低的损失
  
  线性回归是单层神经网络
  输入层的输入数(或称为特征维度)为d

2.线性回归的从零开始实现流程图

流程图

3.线性回归的简洁实现流程图