最小二乘法python实现

最新推荐文章于 2024-08-29 13:24:47 发布

TheOneAc1

最新推荐文章于 2024-08-29 13:24:47 发布

阅读量1.5k

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/TheOneAc1/article/details/77998268

版权

本文介绍了如何使用Python实现最小二乘法，包括回归参数的梯度计算和训练过程。通过实例展示了不同学习率对模型训练速度的影响，并强调了数据规范化的重要性。最后，简要提及了随机梯度下降法及其可能导致的局部震荡问题。

摘要由CSDN通过智能技术生成

最小二乘法回归参数梯度

这里写图片描述

代码

import pandas as pd
import numpy as np


df = pd.read_csv('https://archive.ics.uci.edu/ml/'
                     'machine-learning-databases/iris/iris.data', header = None)


import matplotlib.pyplot as plt

y = df.iloc[0:400,4].values
y = np.where(y == 'Iris-setosa', -1, 1)
X = df.iloc[0:400, [0,2]].values



class AdaLineGD(object):
    def __init__(self,eta = 0.01, n_iter = 100):
        self.eta = eta
        self.n_iter = n_iter

    def net_input(self,X):
        return np.dot(X, self.w[1:]) + self.w[0]

    def fit(self, X, y):
        self.w = np.zeros(1 + X.shape[1])
        self.cost = []
        for _ in range(self.n_iter):
            output = self.net_input(X)
            error = y - output
            self.w[1:] += self.eta * X.T.dot(error)
            self.w[0] += self.eta * error.sum()
            cost = (error ** 2).sum()/