svm实现非线性分类（利用smo算法）

最新推荐文章于 2021-08-31 09:30:00 发布

接近真理的真

最新推荐文章于 2021-08-31 09:30:00 发布

阅读量837

点赞数

分类专栏： python分类实战文章标签： python

本文链接：https://blog.csdn.net/qq_52740539/article/details/119488008

版权

本文详细介绍了如何使用支持向量机（SVM）的SMO算法进行非线性分类。通过Python实现，展示了SVM在处理非线性问题上的能力，帮助读者理解和支持向量机在复杂数据集上的应用。

摘要由CSDN通过智能技术生成

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs, make_circles, make_moons
from sklearn.preprocessing import StandardScaler
plt.rcParams['font.sans-serif'] = ['SimHei']  # 中文显示
plt.rcParams['axes.unicode_minus'] = False  # 负号显示
class SMOStruct:


    def __init__(self, X, y, C, kernel, alphas, b, errors, user_linear_optim):
        self.X = X  # 训练样本
        self.y = y  # 类别 label
        self.C = C  # regularization parameter  正则化常量，用于调整（过）拟合的程度
        self.kernel = kernel  # kernel function   核函数，实现了两个核函数，线性和高斯（RBF）
        self.alphas = alphas  # lagrange multiplier 拉格朗日乘子，与样本一一相对
        self.b = b  # scalar bias term 标量，偏移量
        self.errors = errors  # error cache  用于存储alpha值实际与预测值得差值，与样本数量一一相对

        self.m, self.n = np.shape(
            self.X)  # store size(m) of training set and the number of features(n) for each example
        # 训练样本的个数和每个样本的features数量

        self.user_linear_optim = user_linear_optim  # 判断模型是否使用线性核函数
        self.w = np.zeros(self.n)  # 初始化权重w的值，主要用于线性核函数
        # self.b = 0


def linear_kernel(x, y, b=1):
    # 线性核函数

    result = x @ y.T + b
    return result  # Note the @ operator for matrix multiplications


def gaussian_kernel(x, y, sigma=1):
    # 高斯核函数


    if np.ndim(x) == 1 and np.ndim(y) == 1:
        result = np.exp(-(np.linalg.norm(x - y, 2)) ** 2 / (2 * sigma ** 2))
    elif (np.ndim(x) > 1 and np.ndim(y) == 1) or (np.ndim(x) == 1 and np.ndim(y) > 1):
        result = np.exp(-(np.linalg.norm(x - y, 2, axis=1) ** 2) / (2 * sigma ** 2))
    elif np.ndim(x) > 1 and np.ndim(y) > 1:
        result = np.exp(-(np.linalg.norm(x[:, np.newaxis] - y[np.newaxis, :], 2, axis=2) ** 2) / (2 * sigma ** 2))
    return result


# 判别函数一，用于单一样本
def decision_function_output(model, i):
    if model.user_linear_optim:
        # Equation (J1)
        # return float(np.dot(model.w.T, model.X[i])) - model.b
        return float(model.w.T @ model.X[i]) - model.b
    else:
        # Equation (J10)
        return np.sum(
            [model.alphas[j] * model.y[j] * model.kernel(model.X[j], model.X[i]) for j in range(model.m)]) - model.b


# 判别函数二，用于多个样本
def decision_function(alphas, target, kernel, X_train, x_test, b):
    """ Applies the SVM decision functi