CORE CONCEPT -----Regularization

最新推荐文章于 2024-07-24 14:05:30 发布
最新推荐文章于 2024-07-24 14:05:30 发布
阅读量193 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinhe123/article/details/90406276
版权

Regularization

Motivation

请考虑以下情形。 你正在做一个花生酱三明治，并试图调整成分，使其具有最好的味道。 您可以在决策过程中考虑面包类型，花生酱类型或花生酱与面包比例。 但是你会考虑其他因素，比如房间里的温暖程度，早餐吃的东西，或者穿着什么颜色的袜子？ 你可能不会因为这些东西对三明治的味道没有那么大的影响。 对于最终使用的任何配方，您将更多地关注前几个功能，并避免过多关注其他配方。 这是正规化的基本思想。

Overview

在之前的模块中，我们已经看到在一些样本集上训练的预测模型，并根据它们与测试集的接近程度进行评分。 我们显然希望我们的模型能够做出准确的预测，但它们是否过于准确？ 当我们查看一组数据时，有两个主要组成部分：基础模式和噪声。 我们只想匹配模式而不是噪音。 考虑下面代表二次数据的数字。 图1使用线性模型来近似数据。 图2使用二次模型来近似数据。 图3使用高次多项式模型来近似数据。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a simple linear model here
model = Pipeline([('poly', PolynomialFeatures(degree=1)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
y_predictions = model.predict(x)

# Plot data
sns.set_style("darkgrid")
plt.plot(x, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a quadratic model here (polynomial with degree 2)
model = Pipeline([('poly', PolynomialFeatures(degree=2)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a polynomial model here (polynomial with degree 10)
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

图1不适合数据，图2看起来非常适合数据，图3非常适合数据。 在上述所有模型中，第三个模型可能是测试集中最准确的模型。 但这不一定是件好事。 如果我们添加一些更多的测试点，我们可能会发现第三个模型在预测它们时不再准确，但第二个模型仍然相当不错。 这是因为第三个模型过度拟合。 过度拟合意味着它在拟合测试数据（包括噪声）方面做得非常好，但在推广新数据方面做得不好。 第二个模型非常适合数据，并不复杂，不会泛化。

正规化的目标是通过惩罚更复杂的模型来避免过度拟合。 正规化的一般形式包括在我们的成本函数中增加一个额外的术语。 因此，如果我们使用成本函数CF，则正则化可能会导致我们将其更改为CF +λ* R，其中R是我们权重的一些函数，而λ是调整参数。 结果是具有更高权重（更复杂）的模型受到更多惩罚。 调整参数基本上可以让我们调整正则化以获得更好的结果。 λ越高，权重对总成本的影响越小。

Methods

我们可以使用许多方法进行正则化。 下面我们将介绍一些比较常见的以及何时使用它们。

Ridge Regression

岭回归是一种正则化，其中函数R涉及对权重的平方求和。 等式1示出了修改的成本函数的示例。

等式1是正则化的示例，其中w表示我们的权重。 岭回归迫使权重接近零但永远不会使它们为零。 这意味着所有特征都将在我们的模型中表示，但过度拟合将被最小化。 当我们没有大量的功能并且只是想避免过度拟合时，岭回归是一个不错的选择。 图4给出了应用和不应用岭回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在图4中，黑线表示未应用岭回归的模型，红线表示应用岭回归的模型。 注意红线的平滑程度。 它可能会对未来的数据做得更好。

在包含的regularization_ridge.py文件中，添加岭回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Ridge回归就像在Pipeline调用中添加一个额外的参数一样简单。 这里，参数alpha代表我们的调整变量。 有关scikit-learn中的岭回归的更多信息，请参阅此处here。

Lasso Regression

套索回归是一种正则化，其中函数R涉及对权重的绝对值求和。 公式2显示了修改后的成本函数的示例。

等式2是正则化的示例，其中w表示我们的权重。 请注意类似岭回归和套索回归的相似之处。 唯一明显的区别是权重的平方。 这恰好会对他们的工作产生重大影响。 与岭回归不同，套索回归可以强制权重为零。 这意味着我们生成的模型甚至可能不考虑某些功能！ 在这种情况下，我们有一百万个功能，其中只有少量很重要，这是一个非常有用的结果。 套索回归让我们可以避免过度拟合，并专注于我们所有功能的一小部分。 在最初的情景中，我们最终会忽略那些对我们的三明治饮食体验影响不大的因素。 图5给出了应用和不应用套索回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在上图中，黑线表示未应用Lasso回归的模型，红线表示应用了Lasso回归的模型。 红线比黑线更平滑。 Lasso回归应用于10度的模型，但结果看起来它的程度要低得多！ 对于未来的数据，Lasso模型可能会做得更好。

在包含的regularization_lasso.py文件中，添加Lasso回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Lasso回归就像添加Ridge回归一样简单。 这里，参数alpha表示我们的调优变量，max_iter表示要运行的最大迭代次数。 有关scikit-learn中的Lasso回归的更多信息，请参阅此处here。

Summary

在本单元中，我们了解了正规化。 通过正规化，我们找到了避免过度拟合数据的好方法。 这是建模中常见但重要的问题，因此最好知道如何调解它。 我们还研究了一些我们可以在不同情况下使用的正则化方法。 有了这个，我们已经充分了解了机器学习的核心概念，以进入我们的下一个主题 - 监督学习。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

九妹123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python深度学习-快速指南
cunzai1985的博客
09-22 2539
Python深度学习-快速指南 (Python Deep Learning - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Python深度学习-简介 (Python Deep Learning - Introduction) Deep structured learning o...
keras深度学习_Keras-深度学习
cunzai1985的博客
09-24 355
keras深度学习 Keras-深度学习 (Keras - Deep learning) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Keras provides a complete framework to create any type of neural networks. Keras is inn...
正则化(regularization)方法总结
热门推荐
BGoodHabit的博客
06-30 1万+
8.7 归一化和正则化的区别 https://arxiv.org/pdf/1706.05350.pdf?source=post_page(https://arxiv.org/pdf/1706.05350.pdf?source=post_page https://ai-pool.com/a/s/understanding-of-regularization-in-neural-networks
论文精读--CLIP
m0_73202283的博客
11-13 582
论文链接：CLIP的迁移学习能力非常强，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果CLIP是zero-shot零样本学习的模型，也就是说CLIP无需在这些数据集上进行训练就能得到很好的效果作者在超过30个数据集上做了测试，涵盖了OCR、视频动作检测、坐标定位和许多细分类任务在所有的测试结果当中，表现最突出的是在ImageNet上的结果，在不使用128万中的任何一张图片训练的情况下，能得到与训练好的Resnet-50同样的效果CLIP模型总览图。
Tree - XGBoost with parameter description
weixin_30719711的博客
07-23 123
In the previous post, we talk about a very popular Boosting algorithm - Gradient Boosting Decision Tree. The key of GBM is using Gradient Descent to optimize the loss function. But why Gradient Descen...
Dive into Deep Learning
u012841277的专栏
01-02 1423
Deep Learning Programming Style Imperative Programs (命令式编程): PyTorch Programs perform computation as what you write. Symbolic Programs (符号式编程): Tensorflow We define the abstract function in terms of
计算机视觉论文-2021-06-29
中科院AI算法工程师的博客
06-30 2531
本专栏是计算机视觉方向论文收集积累，时间：2021年6月29日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:The Deep Neural Network Based Photometry Framework for Wide Field Small Aperture Telescopes AUTHORS: Peng Jia ; Yo...
机器学习 - Titanic幸存者预测保姆级
weixin_50303971的博客
10-11 464
泰坦尼克号的沉没是世界上最严重的海难事故之一，今天我们通过一套新手级的教程预测一下哪些人可能成为幸存者。
计算机视觉论文-2021-04-01
中科院AI算法工程师的博客
04-02 2410
本专栏是计算机视觉方向论文收集积累，时间：2021年4月1日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Fast and Accurate Emulation of The SDO/HMI Stokes Inversion with Uncertainty Quantification AUTHORS: RICHARD E. L....
Shake-Shake regularization.pdf
02-02
本文介绍的Shake-Shake方法旨在帮助深度学习从业者面临过度拟合问题。 这个想法是在多分支机构中取代网络，具有随机仿射的并行分支的标准求和组合。 适用于3分支残差网络，摇动正则化改善了CIFAR-10和CIFAR-测试错误...
chan-vese算法代码
08-31
数据项衡量区域内部和外部灰度值的一致性，regularization项控制边缘的平滑度。 3. **迭代更新**：通过梯度下降法或其他优化策略，不断调整分割曲线的位置，使得能量函数最小化。 4. **判断停止条件**：当能量函数...
darknet-masterv4.zip
11-21
包括Mosaic data augmentation，DropBlock regularization，CIoU loss，设计了一个YOLO-V4，并且在MS coco数据集中取得了新的state-of-the-art的结果：在Tesla V100显卡能达到43.5% AP（65.7% AP）的精度，且达到~65...
论文研究-Pointwise Manifold Regularization for semi-supervised classification.pdf
08-16
点状半监督流形正则化分类学习，汪云云，沈雅婷，流形正则化(MR)是经典半监督分类学习方法，同时利用有标记和无标记样本进行学习。依据流形假设，约束流形结构图上相似样本具有相��
MTSCCALR-main_SCCA-FGL_
09-30
"MTSCCALR-main"可能代表多变量稀疏典型相关分析（Multivariate Tensor Sparse Canonical Correlation Analysis with L1 Regularization）的主要程序或框架。在这个框架下，SCCA-FGL是为了解决特定问题而设计的一...
Python编程、机器学习与深度学习技术
2301_78164062的博客
07-24 747
Python编程、机器学习与深度学习技术
生成对抗网络（Generative Adversarial Network，简称GAN
m0_70066267的博客
07-24 751
生成对抗网络（GAN）作为一种强大的深度学习模型，通过生成器和判别器的相互对抗进行学习，展示了在多个领域的广泛应用潜力。尽管GAN的训练过程存在不稳定性、评估困难等挑战，但随着研究的深入和技术的不断发展，相信GAN将在更多领域发挥重要作用，推动人工智能技术的进一步发展。未来，随着计算资源的不断提升和模型结构的持续优化，GAN的性能和应用范围将得到进一步提升和拓展。
特征工程在机器学习中的重要性
shiming8879的博客
07-24 1196
特征工程中的归一化和标准化操作可以将特征的取值范围映射到合适的区间内，使得不同特征之间的差异对模型的影响最小化。这样做的好处在于可以减少特征的维度，降低模型的复杂度，避免过拟合的风险，并提高模型的训练效率和预测性能。这类方法的特点是在模型训练的过程中自动地进行特征选择，不需要像过滤法那样独立于模型进行特征评估，也不像包裹法那样需要多次训练模型。在梯度提升机的训练过程中，每个弱学习器都会尝试纠正前一个学习器的错误，并在这个过程中对特征的重要性进行评估。这类方法的优点是考虑了特征之间的相互作用和模型的适应性；
人工智能与机器学习原理精解【5】
最新发布
基础数学与应用数学
07-24 1020
下面内容来自文心一言的自动生成特征值分解是一种矩阵分解方法，特别适用于方阵。它能够将一个矩阵分解成特征向量和特征值的线性组合，这在数学、物理、工程及计算机科学等多个领域都有重要应用。以下是对特征值分解的详细说明，包括算法和例子。A=QΛQ−1A = QΛQ^{-1}A=QΛQ−1其中，Q是由A的特征向量构成的矩阵（每列是一个特征向量），Λ是一个对角矩阵，其对角线上的元素是A的特征值。对于实对称矩阵，Q是正交矩阵，即Q的逆等于Q的转置（QTQ^TQT），因此特征值分解可以简化为：A=QΛQTA = QΛQ^T
non-local total variation regularization 代码
12-31
非局部总变差正则化是一种用于图像去噪的方法。其目标是通过平滑图像的不连续区域来减少图像的噪声，并保留图像的细节。 非局部总变差正则化的代码实现如下： 首先，需要导入所需的库和模块，如NumPy、OpenCV和Matplotlib。 然后，我们需要定义一个函数来计算图像的非局部总变差。这个函数将接收输入图像和一些参数，比如窗口大小和平滑强度。函数的实现主要包括以下几个步骤： 1. 使用窗口大小定义一个滑动窗口，遍历整个图像。 2. 对于每个滑动窗口，计算窗口中心像素与其他像素之间的差异。 3. 根据差异计算每个像素与窗口中心像素的权重。 4. 根据权重对差异进行加权求和，得到非局部总变差的值。 5. 将非局部总变差作为正则化项添加到图像的能量函数中，从而实现图像去噪。 最后，我们可以通过调用这个函数，并输出去噪后的图像。可以调整参数来控制平滑程度和去噪效果。 非局部总变差正则化的代码实现可以帮助我们快速去除图像中的噪声，并保留图像的细节。通过调整参数和方法的选择，可以得到理想的去噪结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九妹123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值