Python-sklearn-RidgeRegression

2401_82889064

于 2024-03-04 16:16:16 发布

阅读量1.2k

点赞数 39

分类专栏：机器学习文章标签： python sklearn

本文链接：https://blog.csdn.net/2401_82889064/article/details/136453440

版权

机器学习专栏收录该内容

14 篇文章 0 订阅

订阅专栏

多重共线性（Multicollinearity）：多特征线性回归中，特征间存在高精度相关关系

$\left\{\begin{matrix} y = 2 * x_{1} + 3 * x_{2} \\ x_{1} = 2 * x_{2} \end{matrix}\right.$

通过正则化解决

$J(w_{1},w_{2},...,w_{n}, b) = \frac{1}{2m}\sum_{i=1}^{m}(h(x^{i}) - y^{i})^{2} + \frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^{2}$

"""
@Title: ridge_regression
@Time: 2024/3/4
@Author: Michael Jie
"""

import random

import numpy as np
from sklearn.linear_model import Ridge

print("--------------------手动实现RidgeRegression--------------------")
# 数据集，y = 2.1 * x1 + 1.7 * x2 + 4.4
x1 = np.random.uniform(-3, 3, (100, 1))
x2 = 2 * x1
x = np.hstack((x1, x2))
y = np.dot(x, np.array([[2.1, 1.7]]).T) + 4.4 + np.random.normal(0, 0.5, (100, 1))
m = len(x)

# 初始化训练参数
w, b = [[random.random(), random.random()]], random.random()
w = np.array(w)
# 定义最小损失，学习率，最大训练轮次，正则化参数
epsilon, alpha, max_iter, la = 1e-4, 1e-3, 1e4, 0.1

# 训练
num = 0  # 训练轮次
j_init = 0  # 用于计算两次训练损失的差值
while True:
    # 假设函数，单特征线性回归
    h = np.dot(x, w.T) + b
    # 损失，平方差损失函数
    j = 1 / (2 * m) * (np.sum((h - y) ** 2) + la * np.sum(w ** 2))
    if abs(j - j_init) < epsilon or num > max_iter:
        break
    # 优化器，梯度下降
    w -= alpha * (1 / m * (np.sum((h - y) * x) + la * w))
    b -= alpha * (1 / m * np.sum(h - y))
    num += 1
    j_init = j
    if num % 100 == 0:
        print("第{num}次训练，损失为：{j}".format(num=num, j=j))
print("训练后参数为：({w}, {b})".format(w=w, b=b))
# 预测
print("输入(10, 20)的预测值为：{y}".format(y=np.dot(np.array([[10, 20]]), w.T) + b))

print("--------------------使用sklearn实现RidgeRegression--------------------")
linear = Ridge(alpha=0.1)
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入(10, 20)的预测值为：{y}".format(y=linear.predict(np.array([[10, 20]]))))

"""
--------------------手动实现RidgeRegression--------------------
第100次训练，损失为：5.6458011838703435
第200次训练，损失为：4.509004626274598
...
第2300次训练，损失为：0.20055512034868817
第2400次训练，损失为：0.18811670664633823
训练后参数为：([[2.14298884 1.69923604]], 4.075673160028363)
输入(10, 20)的预测值为：[[59.49028227]]
--------------------使用sklearn实现RidgeRegression--------------------
训练后参数为：([[1.10365963 2.20731927]], [4.39583506])
输入(10, 20)的预测值为：[[59.57881673]]
"""