多变量线性回归

最新推荐文章于 2024-02-28 07:15:00 发布

qq_41386300

最新推荐文章于 2024-02-28 07:15:00 发布

阅读量298

点赞数

本文链接：https://blog.csdn.net/qq_41386300/article/details/89322524

版权

本文介绍了多变量线性回归模型，探讨了特征缩放、梯度下降的不同策略，包括批量、随机和小批量梯度下降，并讨论了学习率衰减以及过拟合问题的解决方法，如正则化、Ridge回归和Lasso回归。

摘要由CSDN通过智能技术生成

模型：
单变量： hθ(x) = θ0 + θ1x
多变量：hθ(x) = θ0 + θ1x1 + θ2x2 + … + θnxn
为了保证模型的统一性，我们给模型加上x0 ，并使 x0 = 1
在这里插入图片描述
所以：hθ(x) = θT x

多元梯度下降法

在这里插入图片描述

"""
线性回归实现梯度下降的批处理（batch_gradient_descent ）
"""
import numpy as np

X1 = 2 * np.random.rand(100, 1)
X2 = 4 * np.random.rand(100, 1)
X3 = 6 * np.random.rand(100, 1)

y = 4 + 3 * X1 + 4 * X2 + 5 * X3 + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X1, X2, X3]
# print(X_b)

learning_rate = 0.1
# 通常在做机器学习的时候，一般不会等到他收敛，因为太浪费时间，所以会设置一个收敛次数
n_iterations = 1000
m = 100

# 1.初始化theta， w0...wn
theta = np.random.randn(4, 1)
count = 0

# 4. 不会设置阈值，之间设置超参数，迭代次数，迭代次数到了，我们就认为收敛了
for iteration in range(n_iterations):
    count += 1
    # 2. 接着求梯度gradient
    gradients = 1/m * X_b.T.dot(X_b.dot(theta)-y)
    # 3. 应用公式调整theta值， theta_t + 1 = th