机器学习调参（详细版）

难以触及的高度

于 2024-05-19 00:23:42 发布

阅读量1k

点赞数 24

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/2301_77836489/article/details/138791693

版权

机器学习调参

即使路途艰难，也要坚持前行，因为每一步的努力都将铺就通往梦想的道路。你值得拥有自己向往的生活，勇敢地去追逐吧！

1. 机器学习调参

在机器学习中，调参是一个至关重要的过程，而梯度下降法则是优化算法中常用的一种。

在机器学习中，模型的性能很大程度上取决于超参数的选择。超参数是在模型训练之前设置的参数，它们不是通过训练数据学习得到的，而是由我们根据经验或者试验来调整的。调参的目标是找到最佳的超参数组合，以使模型的性能达到最优。

2. 梯度下降法

梯度下降法是一种常用的优化算法，用于最小化目标函数（损失函数）的值。它的基本思想是沿着目标函数的负梯度方向更新参数，直至达到局部最小值或全局最小值。梯度下降法有多种变体，包括批量梯度下降、随机梯度下降和小批量梯度下降等。

梯度下降法是一种常用的优化算法，用于最小化目标函数（损失函数）的值。无论是在机器学习中还是在深度学习中，梯度下降法都扮演着至关重要的角色。

1）思想简述

梯度下降法的核心思想很简单：沿着目标函数的负梯度方向更新参数，直至达到局部最小值或全局最小值。简单来说，就是找到函数最陡峭的下坡方向，然后朝着这个方向不断迈步，直到走到谷底。

2）主要步骤

1. 初始化参数：随机选择初始参数值。

2. 计算梯度：使用当前参数值计算目标函数的梯度。

3. 更新参数：沿着梯度的负方向更新参数，以减小目标函数的值。

4. 重复迭代：重复步骤2和步骤3，直至达到停止条件（如达到最大迭代次数、梯度接近于零等）。

3）学习率

学习率是梯度下降法中的一个重要超参数，用于控制参数更新的步长。过大的学习率可能导致算法震荡或无法收敛，而过小的学习率则会导致收敛速度过慢。因此，选择合适的学习率对算法的性能至关重要。

4）变种

梯度下降法有多种变体，包括：

批量梯度下降（Batch Gradient Descent）：在每次更新参数时，使用全部训练样本的梯度。

随机梯度下降（Stochastic Gradient Descent）：在每次更新参数时，仅使用一个随机样本的梯度。

小批量梯度下降（Minibatch Gradient Descent）：在每次更新参数时，使用一个小批量样本的梯度，介于批量梯度下降和随机梯度下降之间。

5）应用领域

梯度下降法被广泛应用于机器学习和深度学习中，例如线性回归、逻辑回归、神经网络等模型的训练过程中。

6）总结

梯度下降法是一种重要的优化算法，用于最小化目标函数的值。通过沿着梯度的负方向更新参数，我们可以逐步接近目标函数的最优值。在实际应用中，需要选择合适的学习率和停止条件，以确保算法能够有效地收敛到最优解。

3. 梯度下降法在机器学习调参中的应用

在机器学习中，我们经常使用梯度下降法来更新模型的参数，以最小化损失函数。调参过程中，我们可以通过调整学习率、迭代次数等超参数来优化梯度下降法的性能。较小的学习率可能导致收敛速度过慢，而较大的学习率可能导致震荡或无法收敛。因此，调参的过程就是要找到合适的超参数值，以使梯度下降法能够有效地优化模型。

4.示例

举个简单的例子，假设我们正在训练一个线性回归模型，我们需要调节的超参数包括学习率和迭代次数。我们可以尝试不同的学习率和迭代次数组合，然后使用梯度下降法来更新模型参数，观察模型在验证集上的表现，最终选择表现最好的超参数组合。

1）代码展示

#coding=UTF-8
import numpy as np
import matplotlib.pyplot as plt
import sys
X=[] # 放theta的取值的
Y=[] # 放theta对应的y值的
def l(x):#相当损失函数
    return x*x#x^2
def h(x):#梯度
    return 2*x
theta=2#theta初始值2
# C:\Users\t430\AppData\Local\VZip
y=l(theta)#调用损失函数
# f_change上次的y值与本次y值的差
f_change=2#损失变化
f_up=l(theta)#上次损失
Y.append(y)
X.append(theta)
b=0.8#a太大不收敛 相当于a 即步长（学习率）
i=0
print(f_change >1e-10)
while f_change >1e-10:
    theta=theta-b*h(theta)#更新theta
    tmp=l(theta)#theta的平方 本次的y值
    f_change=abs(f_up-tmp)
    f_up=tmp
    X.append(theta)
    Y.append(tmp)
    i=i+1
print(theta)
plt.figure()
plt.plot(X,Y,c="red")
print(X)
X2=np.arange(-2,2,0.1)
Y2=X2**2
plt.plot(X2,Y2,c="green")
plt.show()

2）运行结果