1.线性回归模型
1.1公式
y^ 是预测值
n 是特征数量
xi 是第i个特征
θi 是每个特征的模型参数
1.2向量化公式
θ.T是θ的转置向量。
θ.T · x 是θ.T和x的点乘
hθ(X) 是θ的假设函数
1.3 MSE损失函数
线性回归的损失函数通常使用MSE(均方误差), 其原理对于欧几里得距离,当数据含有异常值的的时候,可以使用MAE(均值误差),对应曼哈顿距离,由于采用绝对值得形式,减少了异常值对数据的影响。
2.优化算法
2.1 标准方程
可以利用标准方程求出 θ^的优化最小值,是模型求解最优参数的一种形式。
手写实现
import numpy as np
X = np.random.rand(100,1) # 随机生成
y = 1+2*X + np.random.randn