梯度下降与回归算法

1. 机器学习的基本模式

拟合数据 （训练模型） --> 进行预测

• 假设函数（Hypothesis Function）：通常表示为 H(x)，输入数据输出预测值y^。

• 损失函数（Loss Function）：通常表示为 L(x)，表示预测值与真实值的偏差。。函数返回值越大，表示结果偏差越大。

  成本函数（Cost Function）：通常表示为 J(x) ，与损失函数一样表示预测值与真实值的偏差。区别二者的关键在于对象，损失函数是针对单个样本，而成本函数则是针对整个数据集，也就是说，损失函数求得的总和就是成本函数

  L2范数和均方误差是机器学习常用的损失函数。

• 优化方法

  优化方法根据损失值调整假设函数的参数以更好地拟合数据。梯度下降（Gradient Descent）法是机器学习中常用的一种优化方法。如果样本数量庞大，完成一次完整的梯度下降需要耗费很长时间，在实际工作中会根据情况调整每次参与损失值计算的样本数量。每次迭代都使用全部样本的，称为批量梯度下降（Batch Gradient Descent）；每次迭代只使用一个样本的，称为随机梯度下降（Stochastic Gradient Descent）。

首先为假设函数设定初始参数，计算得到预测值；其次将预测值带入损失函数，计算损失值；然后通过得到的损失值，利用梯度下降等优化方法，不断调整假设函数的参数w，使得损失值最小，这是一个迭代的过程。

2. 线性回归

• 回归问题与分类问题的区别

  回归问题和分类问题最大的区别在于预测结果。根据预测值类型的不同，预测结果可以分为两种，一种是连续的，另一种是离散的，结果是连续的就是回归问题。

• 拟合数据

  假设函数：
  $$h(x)={\theta }_1^{T}x+{\theta }_0$$
  损失函数：

  • 采用L2范数（它的正式名称为“范数正则化”，习惯上简称为“范数”或“正则化”，是指向量各元素的平方和然后求平方根）：
    $$L(x)=||\hat{y}-$$