计算机视觉：2.2、随机梯度下降SGD

最新推荐文章于 2024-07-31 14:47:45 发布

俯仰天地

最新推荐文章于 2024-07-31 14:47:45 发布

阅读量339

点赞数 1

分类专栏：计算机视觉文章标签：计算机视觉 python 人工智能

本文链接：https://blog.csdn.net/weixin_43669978/article/details/120874160

版权

计算机视觉专栏收录该内容

20 篇文章 2 订阅

订阅专栏

随机梯度下降（Stochastic Gradient Descent SGD)

之前讨论了经典的随机梯度下降算法：Gradient Descent

我们可以将其用于参数化学习，优化分类器的权重矩阵 W 。但是这种经典的梯度下降算法在大的数据集上运行的特别慢。实际上，这可以算的上是一种计算资源的浪费。

我们应该运用一种对标准梯度下降算法简单调整的算法：随机梯度下降（Stochastic Gradient Descent），这种算法在数据集中的一小批数据上运行结束后就计算梯度并更新权重矩阵。而非像之前的，数据集中的所有数据都运行完了之后再计算梯度、更新权重。

虽然这种调整会让更新权重时参杂更多噪声，但它能够让我们的算法沿着梯度走更多步（以前是一个epoch一步，现在是一个batch一步），最终会让我们的算法更快地收敛，并且对我们分类地准确度和损失没有负作用。

SGD毫无疑问是深度神经网络领域最重要的算法。

MiniBatch SGD

综上所述，我们应该做的就是将我们的更新操作分批处理。

这种算法和之前标准梯度下降算法的不同之处仅仅在于：我们不再是通过整个数据集来计算梯度，我们通过采样来产生“批

”，每一批数据后，计算一次梯度并更新W。

这里我们需要注意批大小的概念：即每次随机采样的样本个数。再最纯正的SGD中，batch_size应当为1。也就是说，每次在数据集中随机采样一个样本点，计算梯度并更新W，然而在实际中我们通常取 batch_size = 32 64 128或者256.

代码实现：

from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
import numpy as np


def sigmoid_activation(x):
    return 1.0 / (1 + np.exp(-x))


def predict(X, W):
    preds = sigmoid_activation(X.dot(W))
    preds[preds <= 0.5] = 0
    preds[preds > 0] = 1
    return preds


# 和标准梯度下降算法的真正不同是加入了next_batch函数
def next_batch(X, y, batchSize):
    for i in np.arange(0, X.shape[0], batchSize):
        yield X[i:i + batchSize], y[i:i + batchSize]


(X, y) = make_blobs(n_samples=1000, n_features=2, centers=2, cluster_std=1.5, random_state=1)
y = y.reshape((y.shape[0], 1))

X = np.c_[X, np.ones((X.shape[0]))]

(trainX, testX, trainY, testY) = train_test_split(X, y, test_size=0.5, random_state=42)

print("[INFO] training....")
W = np.random.randn(X.shape[1], 1)
losses = []

for epoch in np.arange(0, 100):
    epochLoss = []

    for(batchX, batchY) in next_batch(X, y, 16):
        preds = sigmoid_activation(batchX.dot(W))
        error = preds - batchY
        epochLoss.append(np.sum(error ** 2))
        gradient = batchX.T.dot(error)
        W += -0.01 * gradient

    loss = np.average(epochLoss)
    losses.append(loss)

    if epoch == 0 or (epoch + 1) % 5 == 0:
        print("[INFO] epoch={}, loss={:.7f}".format(int(epoch + 1), loss))

print("[INFO] evaluating....")

preds = predict(testX, W)
print(classification_report(testY, preds))

plt.style.use("ggplot")
plt.figure()
plt.title("Data")
plt.scatter(testX[:, 0], testX[:, 1], marker="o", c=testY, s=30)

plt.style.use("ggplot")
plt.figure()
plt.plot(np.arange(0, 100), losses)
plt.title("Training Loss")
plt.xlabel("Epoch")
plt.ylabel("Loss")
plt.show()

运行结果：

E:\DLstudy\Scripts\python.exe E:/PycharmProjects/DLstudy/run/sgd.py
[INFO] training....
[INFO] epoch=1, loss=0.0979398
[INFO] epoch=5, loss=0.0231774
[INFO] epoch=10, loss=0.0171205
[INFO] epoch=15, loss=0.0140899
[INFO] epoch=20, loss=0.0121028
[INFO] epoch=25, loss=0.0106468
[INFO] epoch=30, loss=0.0095132
[INFO] epoch=35, loss=0.0085962
[INFO] epoch=40, loss=0.0078345
[INFO] epoch=45, loss=0.0071895
[INFO] epoch=50, loss=0.0066351
[INFO] epoch=55, loss=0.0061527
[INFO] epoch=60, loss=0.0057290
[INFO] epoch=65, loss=0.0053536
[INFO] epoch=70, loss=0.0050188
[INFO] epoch=75, loss=0.0047183
[INFO] epoch=80, loss=0.0044472
[INFO] epoch=85, loss=0.0042014
[INFO] epoch=90, loss=0.0039776
[INFO] epoch=95, loss=0.0037731
[INFO] epoch=100, loss=0.0035855
[INFO] evaluating....
              precision    recall  f1-score   support

           0       1.00      1.00      1.00       250
           1       1.00      1.00      1.00       250

    accuracy                           1.00       500
   macro avg       1.00      1.00      1.00       500
weighted avg       1.00      1.00      1.00       500