Numpy实现SVM

最后

Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样,是不能只看书不做题的,直接看步骤和答案会让人误以为自己全都掌握了,但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码,教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

The degree of the polynomial kernel. Will be ignored by the other

kernel functions.

gamma: float

Used in the rbf kernel function.

coef: float

Bias term used in the polynomial kernel function.

“”"

def init(self, C=1, kernel=rbf_kernel, power=4, gamma=None, coef=4):

self.C = C

self.kernel = kernel

self.power = power

self.gamma = gamma

self.coef = coef

self.lagr_multipliers = None

self.support_vectors = None

self.support_vector_labels = None

self.intercept = None

def fit(self, X, y):

n_samples, n_features = np.shape(X)

Set gamma to 1/n_features by default

if not self.gamma:

self.gamma = 1 / n_features

Initialize kernel method with parameters

self.kernel = self.kernel(

power=self.power,

gamma=self.gamma,

coef=self.coef)

Calculate kernel matrix

kernel_matrix = np.zeros((n_samples, n_samples))

for i in range(n_samples):

for j in range(n_samples):

kernel_matrix[i, j] = self.kernel(X[i], X[j])

Define the quadratic optimization problem

P = cvxopt.matrix(np.outer(y, y) * kernel_matrix, tc=‘d’)

q = cvxopt.matrix(np.ones(n_samples) * -1)

A = cvxopt.matrix(y, (1, n_samples), tc=‘d’)

b = cvxopt.matrix(0, tc=‘d’)

if not self.C:

G = cvxopt.matrix(np.identity(n_samples) * -1)

h = cvxopt.matrix(np.zeros(n_samples))

else:

G_max = np.identity(n_samples) * -1

G_min = np.identity(n_samples)

G = cvxopt.matrix(np.vstack((G_max, G_min)))

h_max = cvxopt.matrix(np.zeros(n_samples))

h_min = cvxopt.matrix(np.ones(n_samples) * self.C)

h = cvxopt.matrix(np.vstack((h_max, h_min)))

Solve the quadratic optimization problem using cvxopt

minimization = cvxopt.solvers.qp(P, q, G, h, A, b)

Lagrange multipliers

lagr_mult = np.ravel(minimization[‘x’])

Extract support vectors

Get indexes of non-zero lagr. multipiers

idx = lagr_mult > 1e-7

Get the corresponding lagr. multipliers

self.lagr_multipliers = lagr_mult[idx]

Get the samples that will act as support vectors

self.support_vectors = X[idx]

Get the corresponding labels

self.support_vector_labels = y[idx]

Calculate intercept with first support vector

self.intercept = self.support_vector_labels[0]

for i in range(len(self.lagr_multipliers)):

self.intercept -= self.lagr_multipliers[i] * self.support_vector_labels[

i] * self.kernel(self.support_vectors[i], self.support_vectors[0])

def predict(self, X):

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了,安装就可直接上手!img

三、最新Python学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

img

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是用numpy独立实现svm回归预测的步骤: 1. 导入必要的库 ```python import numpy as np ``` 2. 定义SVM回归模型 ```python class SVM: def __init__(self, C=1.0, kernel='linear', degree=3, gamma='scale', coef0=0.0): self.C = C # 惩罚系数 self.kernel = kernel # 核函数类型 self.degree = degree # 多项式核函数的次数 self.gamma = gamma # 核函数的系数 self.coef0 = coef0 # 独立项 # 计算核函数 def _kernel_function(self, X, Y): if self.kernel == 'linear': # 线性核函数 return np.dot(X, Y.T) elif self.kernel == 'poly': # 多项式核函数 return (self.gamma * np.dot(X, Y.T) + self.coef0) ** self.degree elif self.kernel == 'rbf': # 高斯核函数 if self.gamma == 'scale': gamma = 1 / (X.shape[1] * X.var()) elif self.gamma == 'auto': gamma = 1 / X.shape[1] else: gamma = self.gamma return np.exp(-gamma * ((X[:, np.newaxis, :] - Y[np.newaxis, :, :]) ** 2).sum(axis=2)) else: raise ValueError('Invalid kernel type.') # 计算损失函数 def _loss_function(self, X, y, alpha, b): return 0.5 * np.dot(alpha * y, self._kernel_function(X, X)) - np.sum(alpha) + np.sum(alpha * y * b) # 计算预测值 def _predict(self, X): return np.sign(np.dot(self.alpha * self.y, self._kernel_function(self.X, X)) + self.b) # 训练模型 def fit(self, X, y, max_iter=100, tol=1e-3): self.X = X self.y = y self.alpha = np.zeros(X.shape[0]) self.b = 0.0 # 计算初始的b值 b = np.mean(y - np.dot(self.alpha * y, self._kernel_function(X, X))) self.alpha = np.clip(self.alpha, 0, self.C) # 将alpha限制在[0, C]之间 for epoch in range(max_iter): alpha_old = np.copy(self.alpha) for i in range(X.shape[0]): Ei = self._predict(X[i]) - y[i] if (y[i] * Ei < -tol and self.alpha[i] < self.C) or (y[i] * Ei > tol and self.alpha[i] > 0): j = np.random.choice(list(range(i)) + list(range(i + 1, X.shape[0]))) # 随机选择另一个样本 Ej = self._predict(X[j]) - y[j] alpha_i_old, alpha_j_old = self.alpha[i], self.alpha[j] if y[i] != y[j]: L = max(0, self.alpha[j] - self.alpha[i]) H = min(self.C, self.C + self.alpha[j] - self.alpha[i]) else: L = max(0, self.alpha[i] + self.alpha[j] - self.C) H = min(self.C, self.alpha[i] + self.alpha[j]) if L == H: continue eta = 2 * self._kernel_function(X[i], X[j]) - self._kernel_function(X[i], X[i]) - self._kernel_function(X[j], X[j]) if eta >= 0: continue self.alpha[j] -= y[j] * (Ei - Ej) / eta self.alpha[j] = np.clip(self.alpha[j], L, H) self.alpha[i] += y[i] * y[j] * (alpha_j_old - self.alpha[j]) # 更新b值 b1 = b - Ei - y[i] * (self.alpha[i] - alpha_i_old) * self._kernel_function(X[i], X[i]) - y[j] * (self.alpha[j] - alpha_j_old) * self._kernel_function(X[i], X[j]) b2 = b - Ej - y[i] * (self.alpha[i] - alpha_i_old) * self._kernel_function(X[i], X[j]) - y[j] * (self.alpha[j] - alpha_j_old) * self._kernel_function(X[j], X[j]) if 0 < self.alpha[i] < self.C: self.b = b1 elif 0 < self.alpha[j] < self.C: self.b = b2 else: self.b = (b1 + b2) / 2 # 判断是否收敛 if np.linalg.norm(self.alpha - alpha_old) < tol: break # 计算模型参数 self.support_vectors = (self.alpha > 0) self.n_support_vectors = np.sum(self.support_vectors) self.w = np.dot(self.alpha * y, X) self.kernel_values = self._kernel_function(X[self.support_vectors], X[self.support_vectors]) self.b = np.mean(y[self.support_vectors] - np.dot(self.alpha[self.support_vectors] * y[self.support_vectors], self.kernel_values)) # 预测 def predict(self, X): return self._predict(X) ``` 3. 加载数据集 ```python data = np.loadtxt('data.txt', delimiter=',') X = data[:, :-1] y = data[:, -1] ``` 4. 划分训练集和测试集 ```python n_samples = X.shape[0] train_size = int(n_samples * 0.8) indices = np.random.permutation(n_samples) train_idx, test_idx = indices[:train_size], indices[train_size:] X_train, X_test, y_train, y_test = X[train_idx], X[test_idx], y[train_idx], y[test_idx] ``` 5. 训练模型 ```python svm = SVM(C=1.0, kernel='linear') svm.fit(X_train, y_train) ``` 6. 预测并计算准确率 ```python y_pred = svm.predict(X_test) accuracy = np.mean(y_pred == y_test) print('Accuracy:', accuracy) ``` 这样就完成了用numpy独立实现svm回归预测的过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值