第五天：机器学习中的正则化：防止过拟合的艺术-CSDN博客

本文链接：https://blog.csdn.net/weixin_54856108/article/details/140874345

引言

在机器学习中，我们经常面临过拟合的问题，即模型在训练数据上表现良好，但在未见过的数据上表现不佳。正则化是一种减少过拟合风险的技术，通过在模型的损失函数中添加一个额外的项来实现。

正则化技术

L1 正则化（Lasso）

L1 正则化通过向损失函数添加参数的绝对值之和来工作，促使模型学习到的参数尽可能稀疏。

L2 正则化（Ridge）

L2 正则化通过添加参数平方和来工作，这有助于限制模型参数的大小。

弹性网（Elastic Net）

弹性网是L1和L2正则化的结合，同时添加了两种正则化项。

正则化的重要性

减少过拟合

正则化通过限制模型的复杂度来减少过拟合的风险。一个正则化良好的模型在训练集和测试集上都能保持较好的性能。

提高模型泛化能力

通过正则化，模型可以更好地泛化到新的、未见过的数据上，这是机器学习模型的最终目标。

正则化技术详解

损失函数

正则化的损失函数可以表示为：
$J(\theta) = \text{Loss}(\theta) + \lambda \cdot \text{Regularization}(\theta) \$
其中，

Loss(θ) 是模型的原始损失函数，
λ是正则化系数，
Regularization(θ) 是正则化项。

正则化系数

正则化系数λ 控制了正则化项的强度。λ的值越大，正则化的影响越大，模型越简单。

交叉验证

选择最佳的正则化系数通常通过交叉验证来完成。交叉验证可以确保模型在不同的数据子集上都有良好的性能。

实例分析：使用糖尿病数据集

我们将使用UCI机器学习库中的糖尿病数据集来演示正则化技术的应用。

数据加载与预处理

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge, Lasso, ElasticNet
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler

# 加载数据集
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"
columns = ['Pregnancies', 'Glucose', 'BloodPressure', 'SkinThickness', 'Insulin', 'BMI', 'DiabetesPedigreeFunction', 'Age', 'Outcome']
data = pd.read_csv(url, names=columns)

# 数据预处理
X = data.drop('Outcome', axis=1)
y = data['Outcome']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 模型构建与评估
# 创建Ridge模型
ridge = Ridge(alpha=1.0)
ridge.fit(X_train_scaled, y_train)
y_pred_ridge = ridge.predict(X_test_scaled)
ridge_mse = mean_squared_error(y_test, y_pred_ridge)

# 创建Lasso模型
lasso = Lasso(alpha=0.01)
lasso.fit(X_train_scaled, y_train)
y_pred_lasso = lasso.predict(X_test_scaled)
lasso_mse = mean_squared_error(y_test, y_pred_lasso)

# 创建ElasticNet模型
elastic_net = ElasticNet(alpha=0.001, l1_ratio=0.5)
elastic_net.fit(X_train_scaled, y_train)
y_pred_elastic_net = elastic_net.predict(X_test_scaled)
elastic_net_mse = mean_squared_error(y_test, y_pred_elastic_net)

# 打印MSE
print(f"Ridge MSE: {ridge_mse}")
print(f"Lasso MSE: {lasso_mse}")
print(f"ElasticNet MSE: {elastic_net_mse}")

# 模型可视化
import matplotlib.pyplot as plt
import seaborn as sns

# 可视化Ridge模型参数
plt.figure(figsize=(10, 6))
sns.barplot(x=np.arange(len(ridge.coef_)), y=ridge.coef_)
plt.title('Ridge Coefficients')
plt.show()

# 可视化Lasso模型参数
plt.figure(figsize=(10, 6))
sns.barplot(x=np.arange(len(lasso.coef_)), y=lasso.coef_)
plt.title('Lasso Coefficients')
plt.show()