L1正则化(L1 Regularization)和L2正则化(L2 Regularization)的详细解释以及区别,同时详细解释了正则化在损失函数中的功能,解释了正则化为什么可以防止过拟合,提高泛化

在这里插入图片描述


前言

正则化是一种重要的技术手段,可以帮助我们提高模型的泛化能力,减少过拟合现象。L1正则化L2正则化是两种常用的正则化方法,它们各有特点,适用于不同类型的问题。

一、正则化是什么?

正则化(Regularization)是一种在机器学习和深度学习算法中用于防止过拟合提高模型泛化能力的技术手段。

二、L1正则化(L1 Regularization)是什么?

L1正则化是指权值向量w中各个元素的绝对值之和。L1正则化的主要作用是引导模型更加关注那些绝对值较大的权重,从而在一定程度上防止过拟合。在机器学习领域,L1正则化通常用于稀疏模型,即那些大部分权重为零的模型,如Lasso回归等。

三、L2正则化(L2 Regularization)是什么?

L2正则化是指权值向量w中各个元素的平方和然后再求平方根。L2正则化的主要作用是减少模型的复杂性,从而在一定程度上防止过拟合。在机器学习领域,L2正则化通常用于Ridge回归等模型

四、正则化在损失函数中的应用

  1. 在损失函数中见到正则化是因为正则化是一种用来控制模型复杂度和防止过拟合的技术

  2. 正则化通过在损失函数中引入附加项(正则化项),以惩罚模型的复杂性或控制参数的大小。这样可以在保持模型在训练数据上有良好拟合的同时,避免过度拟合,并提高模型的泛化能力。

  3. 正则化的基本原理是通过惩罚模型的复杂度或参数的大小,以防止模型在训练数据中过度适应噪声或不相关的特征。正则化使模型倾向于选择更简单的参数设置或稀疏的特征,从而提高模型的泛化能力和对未见数据的预测准确性。

  4. 正则化可以看作是对损失函数中的某些参数做一些限制,从而在训练过程中引导模型更加关注那些不太可能产生过拟合的参数


  • 25
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于Logistic回归的L1正则化损失函数为: J(w) = -1/m * [sum(yi*log(h(xi)) + (1-yi)*log(1-h(xi))) + lambda * sum(abs(w))] 其,yi是第i个样本的标签,h(xi)是该样本的预测概率,w是模型参数,lambda是正则化系数。可以使用梯度下降算法更新参数: w_j = w_j - alpha * (1/m * sum((h(xi)-yi)*xi_j) + lambda * sign(w_j)) 其,alpha是学习率,sign(w_j)是w_j的符号函数,即当w_j>0时为1,w_j<0时为-1,w_j=0时为0。 对于Logistic回归的L2正则化损失函数为: J(w) = -1/m * [sum(yi*log(h(xi)) + (1-yi)*log(1-h(xi))) + lambda/2 * sum(w^2)] 其,yi是第i个样本的标签,h(xi)是该样本的预测概率,w是模型参数,lambda是正则化系数。可以使用梯度下降算法更新参数: w_j = w_j - alpha * (1/m * sum((h(xi)-yi)*xi_j) + lambda * w_j) 其,alpha是学习率。注意,L2正则化正则化项是w的平方和,而不是绝对值和。 下面是使用Python实现Logistic回归的L1正则化L2正则化的代码: ```python import numpy as np class LogisticRegression: def __init__(self, lr=0.1, num_iter=1000, fit_intercept=True, regularization=None, lambda_=0.1): self.lr = lr self.num_iter = num_iter self.fit_intercept = fit_intercept self.regularization = regularization self.lambda_ = lambda_ def __add_intercept(self, X): intercept = np.ones((X.shape[0], 1)) return np.concatenate((intercept, X), axis=1) def __sigmoid(self, z): return 1 / (1 + np.exp(-z)) def __loss(self, h, y): return (-y * np.log(h) - (1 - y) * np.log(1 - h)).mean() def __l1_regularization(self, w): return self.lambda_ * np.abs(w[1:]).sum() def __l2_regularization(self, w): return self.lambda_ * np.sum(w[1:] ** 2) def fit(self, X, y): if self.fit_intercept: X = self.__add_intercept(X) self.theta = np.zeros(X.shape[1]) for i in range(self.num_iter): z = np.dot(X, self.theta) h = self.__sigmoid(z) if self.regularization == 'l1': # L1正则化 grad = np.dot(X.T, (h - y)) / y.size + self.lambda_ * np.sign(self.theta) elif self.regularization == 'l2': # L2正则化 grad = np.dot(X.T, (h - y)) / y.size + self.lambda_ * self.theta else: grad = np.dot(X.T, (h - y)) / y.size self.theta -= self.lr * grad def predict_prob(self, X): if self.fit_intercept: X = self.__add_intercept(X) return self.__sigmoid(np.dot(X, self.theta)) def predict(self, X, threshold=0.5): return self.predict_prob(X) >= threshold ``` 其,lr是学习率,num_iter是迭代次数,fit_intercept表示是否拟合截距,regularization表示正则化方法,lambda_是正则化系数。在fit方法,通过判断regularization的取值,来实现L1正则化L2正则化。在L1正则化,使用np.sign函数计算符号函数,而在L2正则化,直接对参数的平方和进行惩罚。在predict_prob方法,对X进行截距拟合和sigmoid变换,返回预测概率。在predict方法,对预测概率进行阈值处理,返回预测结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值