感知机

感知机

感知机应该属于机器学习算法中最简单的一种算法，其原理如图，通过找到一条线对于黄，蓝2个样本集合进行分类，这条特殊的线在二维平面可以看为一条直线，在三维平面看为一个切割平面，在四维看为一个划分样本的超平面，以此类推，在高维中这条特殊的线就是一个超平面。
找到这个超平面，感知机算法就算完成。
我们来学习一个函数sign(x):

当wx+b大于0的时候，sign(wx+b)为+1(取对应y为+1），表示该样本点为正实例，当wx+b小于0的时候，表示该样本点为负实例(取对应y为-1)。
如果该样本点为误分类的点，y(wx+b)小于0
利用随机梯度下降算法更新参数W,b
以此类推，直到所有样本点的y(wx+b)大于0
记录该W,b 得出超平面Wx+b，该平面就是我们所找的。
参考实现代码

#coding=utf-8
#Author:Dodo
#Date:2018-11-15
#Email:lvtengchao@pku.edu.cn
'''
数据集：Mnist
训练集数量：60000
测试集数量：10000
------------------------------
运行结果：
正确率：81.72%（二分类）
运行时长：78.6s
'''
import numpy as np
import time
def loadData(fileName):
    '''
    加载Mnist数据集
    :param fileName:要加载的数据集路径
    :return: list形式的数据集及标记
    '''
    print('start to read data')
    # 存放数据及标记的list
    dataArr = []; labelArr = []
    # 打开文件
    fr = open(fileName, 'r')
    # 将文件按行读取
    for line in fr.readlines():
        # 对每一行数据按切割福','进行切割，返回字段列表
        curLine = line.strip().split(',')
        # Mnsit有0-9是个标记，由于是二分类任务，所以将>=5的作为1，<5为-1
        if int(curLine[0]) >= 5:
            labelArr.append(1)
        else:
            labelArr.append(-1)
        #存放标记
        #[int(num) for num in curLine[1:]] -> 遍历每一行中除了以第一哥元素（标记）外将所有元素转换成int类型
        #[int(num)/255 for num in curLine[1:]] -> 将所有数据除255归一化(非必须步骤，可以不归一化)
        dataArr.append([int(num)/255 for num in curLine[1:]])
    #返回data和label
    return dataArr, labelArr
def perceptron(dataArr, labelArr, iter=50):
    '''
    感知器训练过程
    :param dataArr:训练集的数据 (list)
    :param labelArr: 训练集的标签(list)
    :param iter: 迭代次数，默认50
    :return: 训练好的w和b
    '''
    print('start to trans')
   
    dataMat = np.mat(dataArr)
    
    labelMat = np.mat(labelArr).T
   
    m, n = np.shape(dataMat)
   
   
    w = np.zeros((1, np.shape(dataMat)[1]))
   
    b = 0
  
    h = 0.0001
    
    for k in range(iter):
      
        for i in range(m):
        
            if -1 * yi * (w * xi.T + b) >= 0:
                
                w = w + h *  yi * xi
                b = b + h * yi
       
        print('Round %d:%d training' % (k, iter))
    
    return w, b
def test(dataArr, labelArr, w, b):
    '''
    测试准确率
    :param dataArr:测试集
    :param labelArr: 测试集标签
    :param w: 训练获得的权重w
    :param b: 训练获得的偏置b
    :return: 正确率
    '''
    print('start to test')
   
    dataMat = np.mat(dataArr)
   
   
    labelMat = np.mat(labelArr).T
    
    m, n = np.shape(dataMat)
   
    errorCnt = 0
    
    for i in range(m):
       
        xi = dataMat[i]
       
        yi = labelMat[i]
      
        result = -1 * yi * (w * xi.T + b)
       
        if result >= 0: errorCnt += 1
   
    accruRate = 1 - (errorCnt / m)
   
    return accruRate
if __name__ == '__main__':
    #获取当前时间
    #在文末同样获取当前时间，两时间差即为程序运行时间
    start = time.time()
    #获取训练集及标签
    trainData, trainLabel = loadData('../Mnist/mnist_train.csv')
    #获取测试集及标签
    testData, testLabel = loadData('../Mnist/mnist_test.csv')
    #训练获得权重
    w, b = perceptron(trainData, trainLabel, iter = 30)
    #进行测试，获得正确率
    accruRate = test(testData, testLabel, w, b)
    #获取当前时间，作为结束时间
    end = time.time()
    #显示正确率
    print('accuracy rate is:', accruRate)
    #显示用时时长
    print('time span:', end - start)