机器学习入门~正规方程Normal equation

本文介绍了机器学习中的正规方程,作为求解假设函数参数θ的解析解。正规方程避免了梯度下降的迭代过程,直接求解最优θ。通过构建设计矩阵X和向量y,利用矩阵运算找到最小化代价函数的θ。虽然正规方程在n较大时计算速度慢,但不需要特征缩放。如果遇到矩阵XT * X不可逆的情况,可能涉及特征冗余或过多,可以通过调整特征或使用伪逆解决。最后,文章展示了使用Python的numpy库实现正规方程的步骤。
摘要由CSDN通过智能技术生成

正规方程Normal equation

  • 对于某些机器学习问题,正规方程会给我们更好的方法来求解假设函数中的θ参数的最优值。
    在这里插入图片描述
  • 👆梯度下降给出了一种通过不断迭代的方式,通过代价函数寻找θ最优值的解法。
  • 👆而正规方程给出了求解θ的解析解法,即不必运行迭代函数,而是直接一次性求解θ的最优值。
    解决方法:
    在这里插入图片描述
    👆代价函数求导,并令导数为零,求解出使得导数为零的参数θx
    👇但实际问题中,参数θ是一个n+1维的向量,也就是θ0到θm的函数。
    在这里插入图片描述
    👆解决的方法是对每一个参数θ求偏导,然后把它们全部置零,解出θ0到θn
    例:👇
    假设有一个m = 4的训练样本。
### 机器学习正规方程的推导过程 在机器学习领域,特别是线性回归问题中,目标是最小化预测值与真实值之间的差距。为了实现这一目标,可以采用梯度下降方法迭代更新参数,也可以通过解析方式一次性计算最优参数解——这就是所谓的正规方程。 #### 矩阵运算基础知识 对于后续推导过程中涉及的一些基本概念和公式: - **矩阵转置**:如果有一个大小为$m\times n$ 的矩阵 $A=[a_{ij}]$ ,那么它的转置就是$n\times m$ 维的新矩阵 ${\bf A}^\top =[a_{ji}]$ 。这意味着原始矩阵中的每一行变成了新矩阵的一列[^3]。 - **求导法则**:给定一个关于向量 $\theta$ 的函数$f(\theta)$ , 对于该函数相对于$\theta_i$ 进行偏微分得到的结果构成一个新的向量形式${{\partial f}\over {\partial \theta}}=(f'_1,f'_2,\cdots,f'_n)^T$ 。 #### 构建代价函数并求解最优点 定义假设函数$h_\theta(x)=X\cdot\theta$,其中$X$表示输入特征组成的样本集矩阵,$\theta$代表待估计权重系数向量;再设定损失函数$L=\frac{1}{2}(y-X\theta)(y-X\theta)^T$来衡量模型输出与实际标签间的偏差程度。这里乘以因子$\frac{1}{2}$是为了简化之后可能出现的二次项系数[^4]。 对上述表达式按照变量$\theta_j(j=0,...,p)$分别做偏导数操作可得: $$J'(\theta)=-X^{T}(Y-X\theta)+C$$ 为了让这个导数值等于零从而获得局部极小值点,则有: $$ X^{T}(Y-X\theta)=0 $$ 进一步整理得出最终结论即为我们所熟知的正规方程形式: $$ \hat{\theta} =(X^{T}X)^{-1}X^{T}Y $$ 这表明只要能获取到训练数据对应的自变量矩阵及其因变量向量就可以直接算出最佳拟合直线斜率以及截距等参数而无需像随机梯度下降那样逐步逼近全局最优解了。 ```python import numpy as np def normal_equation(X, y): theta_hat = np.linalg.inv(X.T @ X) @ X.T @ y return theta_hat ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值