Numpy实现SVM

power: int

The degree of the polynomial kernel. Will be ignored by the other

kernel functions.

gamma: float

Used in the rbf kernel function.

coef: float

Bias term used in the polynomial kernel function.

“”"

def init(self, C=1, kernel=rbf_kernel, power=4, gamma=None, coef=4):

self.C = C

self.kernel = kernel

self.power = power

self.gamma = gamma

self.coef = coef

self.lagr_multipliers = None

self.support_vectors = None

self.support_vector_labels = None

self.intercept = None

def fit(self, X, y):

n_samples, n_features = np.shape(X)

Set gamma to 1/n_features by default

if not self.gamma:

self.gamma = 1 / n_features

Initialize kernel method with parameters

self.kernel = self.kernel(

power=self.power,

gamma=self.gamma,

coef=self.coef)

Calculate kernel matrix

kernel_matrix = np.zeros((n_samples, n_samples))

for i in range(n_samples):

for j in range(n_samples):

kernel_matrix[i, j] = self.kernel(X[i], X[j])

Define the quadratic optimization problem

P = cvxopt.matrix(np.outer(y, y) * kernel_matrix, tc=‘d’)

q = cvxopt.matrix(np.ones(n_samples) * -1)

A = cvxopt.matrix(y, (1, n_samples), tc=‘d’)

b = cvxopt.matrix(0, tc=‘d’)

if not self.C:

G = cvxopt.matrix(np.identity(n_samples) * -1)

h = cvxopt.matrix(np.zeros(n_samples))

else:

G_max = np.identity(n_samples) * -1

G_min = np.identity(n_samples)

G = cvxopt.matrix(np.vstack((G_max, G_min)))

h_max = cvxopt.matrix(np.zeros(n_samples))

h_min = cvxopt.matrix(np.ones(n_samples) * self.C)

h = cvxopt.matrix(np.vstack((h_max, h_min)))

Solve the quadratic optimization problem using cvxopt

minimization = cvxopt.solvers.qp(P, q, G, h, A, b)

Lagrange multipliers

lagr_mult = np.ravel(minimization[‘x’])

Extract support vectors

Get indexes of non-zero lagr. multipiers

idx = lagr_mult > 1e-7

Get the corresponding lagr. multipliers

self.lagr_multipliers = lagr_mult[idx]

Get the samples that will act as support vectors

self.support_vectors = X[idx]

Get the corresponding labels

self.support_vector_labels = y[idx]

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）