统计学习方法svm课后习题_统计学习方法 李航 感知机模型 python sklearn 实现 及课后习题...

李航

感知机(perception)是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1.感知机对应于输入空间(特征空间)中将实例化分为正负两类的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知及算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是利用学习到的感知机模型对新的输入实例进行分类。感知机1957年由Rosenblatt提出，是神经网络和支持向量机的基础。

收敛性证明结果：

k < (R/Y)^2 ,其中，k为误分类次数，R为||xi||的最大值i=1,2,3...n, Y为yi(Wopt*xi + Bopt)的最小值。这个定理表明，误分类次数是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面，也就是说，当训练数据集线性可分时，感知基学习算法原始形式迭代是收敛的。但是当初始值及更新样本不定时学出来的超平面是变化的，故需要加约束条件，SVM就是加了约束条件。当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果将会发生震荡。

对偶形式

对偶形式的基本思想，将权重w和偏置b表示为实例xi和yi的线性组合形式，通过求解其系数，从而求解最终的的w和b

python代码：辅助理解感知机算法

import numpy as np

data = np.array([[3, 3], [4, 3], [1, 1]])

label = np.array([1, 1, -1])

class preceptron(object):

def __init__(self, data,label,l=1):

self.a = np.zeros([len(data), 1])

self.b = 0

self.l = 1

self.count = 0

self.data = data

self.label = label

def model(self):

gram_matrix = self.__get_gram_matrix(self.data)

flag = True

index = 0

while flag:

index += 1

i = index % len(self.data)

self.__updata_wb(gram_matrix, self.label, i)

if self.count == len(data):

flag = False

return np.sum(self.a * self.data, axis=0), self.b

def __get_gram_matrix(self, data):

return np.matmul(data, np.transpose(data))

def __updata_wb(self, gram_matrix, label, i):

sum = 0

for j in range(len(self.a)):

sum += self.a[j] * label[j] * gram_matrix[j][i]

if label[i] * (sum + self.b) <= 0:

self.a[i] += self.l

self.b += label[i]

self.count = 0

return self.__updata_wb(gram_matrix, label, i)

else:

self.count += 1

return

w, b = preceptron(data,label).model()

print('W %s, \nb %s.\n' % (w, b))

sklearn代码：所用数据为kaggle中mnist数据，将特征PCA至六维

# -*- coding: utf-8 -*-

"""

使用sklearn实现的感知机算法进行分类的一个实例，

使用数据集是Kaggle数字手写体数据库

"""

import pandas as pd

import numpy as np

from sklearn.linear_model import Perceptron

from sklearn.decomposition import PCA

import sklearn

# 加载数据集

def load_data(filename, n, mode):

data_pd = pd.read_csv(filename)

data = np.asarray(data_pd)

pca = PCA(n_components=n)

if not mode == 'test':

dateset = pca.fit_transform(data[:, 1:])

return dateset, data[:, 0]

else:

dateset = pca.fit_transform(data)

return dateset, 1

def main(train_data_path, test_data_path, n_dim):

train_data, train_label = load_data(train_data_path, n_dim, 'train')

print("Train set :" + repr(len(train_data)))

test_data, _ = load_data(test_data_path, n_dim, 'test')

print("Test set :" + repr(len(test_data)))

ppn = Perceptron()

# 训练数据集

ppn.fit(train_data, train_label)

# 训练准确率

score = ppn.score(train_data, train_label)

print(">Training accuracy = " + repr(score))

predictions = []

for index in range(len(test_data)):

# 预测

result = ppn.predict([test_data[index]])

predictions.append([index + 1, result[0]])

print(">Index : %s, predicted = %s" % (index + 1, result[0]))

columns = ['ImageId', 'Label']

save_file = pd.DataFrame(columns=columns, data=predictions)

save_file.to_csv('ppn.csv', index=False, encoding="utf-8")

if __name__ == ''__main__'':

train_data_path = 'train.csv'

test_data_path = 'test.csv'

n_dim = 6

main(train_data_path, test_data_path, n_dim)

喜欢的关注点赞哈