Chapter 2 回归

线性回归

高斯分布

高斯分布是随机分布中最常见的一种，又称为正态分布。
若随机变量X服从一个数学期望为μ、方差为σ²的正态分布，记为N(μ，σ²)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。

最大似然估计MLE

最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

最小二乘法

使用极大似然估计来解释最小二乘。

• 机器学习建模时会充斥着假设，而假设也有以下三个性质
  （1）内涵性：假设往往是正确的，但不一定都是正确的。
  （2）简化性：假设只是接近真实，往往需要做若干简化。
  （3）发散性：在某个简化的假设下推导得到的结论，不一定只有在假设成立时结论才成立。

θ的解析式的求解过程

最小二乘意义下的参数最优解

加入λ扰动后

如果不可逆，则需要加入扰动λ。

线性回归的复杂度惩罚因子

正则项

为何要增加一个正则化：为了防止过拟合

Logistic回归

分类问题的首选算法

• 分类问题是对离散型随机变量进行建模或者预测的监督学习算法。首选算法是Logistic回归，解决二分类问题。
• 回归问题是对连续型随机变量进行建模或者预测的监督学习算法。

梯度下降算法

• 梯度下降法的定义

• 梯度的方向
  
• 梯度下降法的分类
  （1）批量梯度下降算法
  
  （2）随机梯度下降算法
  
  ps:实际上，选择随机梯度下降算法更好。随机梯度下降总体而言损失值是下降趋势的。
  （3）mini-batch梯度下降算法
  若干个样本的平均梯度作为更新的方向。

ps:梯度下降算法是参数优化的重要手段，尤其是SGD，它适用于在线学习，跳出局部最小值。