线性回归
高斯分布
高斯分布是随机分布中最常见的一种,又称为正态分布。
若随机变量X服从一个数学期望为μ、方差为σ²的正态分布,记为N(μ,σ²)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。
最大似然估计MLE
最大似然估计是一种统计方法,它用来求一个样本集的相关概率密度函数的参数。
最小二乘法
使用极大似然估计来解释最小二乘。
- 机器学习建模时会充斥着假设,而假设也有以下三个性质
(1)内涵性:假设往往是正确的,但不一定都是正确的。
(2)简化性:假设只是接近真实,往往需要做若干简化。
(3)发散性:在某个简化的假设下推导得到的结论,不一定只有在假设成立时结论才成立。
θ的解析式的求解过程
最小二乘意义下的参数最优解
加入λ扰动后
如果不可逆,则需要加入扰动λ。
线性回归的复杂度惩罚因子
正则项
为何要增加一个正则化:为了防止过拟合
Logistic回归
分类问题的首选算法
- 分类问题是对离散型随机变量进行建模或者预测的监督学习算法。首选算法是Logistic回归,解决二分类问题。
- 回归问题是对连续型随机变量进行建模或者预测的监督学习算法。
梯度下降算法
- 梯度下降法的定义
- 梯度的方向
- 梯度下降法的分类
(1)批量梯度下降算法
(2)随机梯度下降算法
ps:实际上,选择随机梯度下降算法更好。随机梯度下降总体而言损失值是下降趋势的。
(3)mini-batch梯度下降算法
若干个样本的平均梯度作为更新的方向。
ps:梯度下降算法是参数优化的重要手段,尤其是SGD,它适用于在线学习,跳出局部最小值。