python实现SGD（stochastic gradient descent）算法

最新推荐文章于 2024-07-31 14:47:45 发布

ZachhhBweg

最新推荐文章于 2024-07-31 14:47:45 发布

阅读量6.8k

点赞数 6

分类专栏： python机器学习 - 用python深入机器学习的世界文章标签：机器学习 python

本文链接：https://blog.csdn.net/weixin_44145222/article/details/105099678

版权

本文介绍了一个Python实现的随机梯度下降（SGD）算法，详细讲解了如何初始化权重矩阵、打乱数据、实现随机梯度下降过程，并通过函数封装数据处理步骤。在保持权重初始化不变的情况下进行训练，最后展示了训练结果，包括决策边界和误差随迭代优化次数的变化趋势。

摘要由CSDN通过智能技术生成

源码

此为适应机使用随机梯度下降的python实现，代码主要来源于Python Machine Learning 3rd（此书包含大量python实现算法的源码，宜啃读）自己把代码又弄了一遍，欢迎想看或者看过这本书的来交流讨论

class AdalineSGD(object):
    def __init__(self, eta=0.01, n_iter=10, shuffle=True, random_state=None):
        self.eta = eta
        self.n_iter = n_iter
        self.w_initialized = False
        self.shuffle = shuffle
        self.random_state = random_state
        
    def fit(self, X, y):
        self._initialize_weights(X.shape[1])
        self.cost_ = []
        for i in range(self.n_iter):
            if self.shuffle:
                X, y = self._shuffle(X, y)
            cost = []
            for i in range(self.n_iter):
                if self.shuffle:
                    X, y = self._shuffle(X, y)
                cost = []
                for xi, target in zip(X, y):
                    cost.append(self._update_weights(xi, target))
                avg_cost =