机器学习实战python实例(2)SVM

原创 2016年08月30日 18:56:33

使用smo算法实现svm
以下代码涉及到的公式推导参照于以下两篇文章,数学推导的部分写的非常好!(如果不了解数学推导过程,代码中的一些部分很可能看不懂)
http://www.thebigdata.cn/JieJueFangAn/12661.html
http://www.wengweitao.com/zhi-chi-xiang-liang-ji-smoxu-lie-zui-xiao-zui-you-hua-suan-fa.html#fnref:calculate
对svm的简要理解可以参见我之前写的http://blog.csdn.net/xiaonannanxn/article/details/52352207

首先我们建立一个SVM.py

# coding:utf-8
from numpy import *
import matplotlib.pyplot as plt

def loadDataSet(filename):
    dataMat = []
    labelMat = []
    fr = open(filename)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    return dataMat, labelMat


def selectJrand(i, m):
    j = i
    while j == i:
        j = int(random.uniform(0, m))
    return j


def clipAlpha(aj, H, L):
    if aj > H:
        aj = H
    if aj < L:
        aj = L
    return aj


def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    b = 0
    m, n = dataMatrix.shape
    alphas = mat(zeros((m, 1)))
    Iter = 0
    while Iter < maxIter:
        alphaPairsChanged = 0
        for i in xrange(m):
            # y = wx + b, w = ∑αyx
            fXi = float(multiply(alphas, labelMat).T * dataMatrix * dataMatrix[i, :].T) + b
            Ei = fXi - float(labelMat[i])
            # if α needs to be adjusted or it does not satisfy the ktt
            if ((labelMat[i] * Ei < -toler) and (alphas[i] < C)) or ((labelMat[i] * Ei > toler) and (alphas[i] > 0)):
                j = selectJrand(i, m)
                fXj = float(multiply(alphas, labelMat).T * dataMatrix * dataMatrix[j, :].T) + b
                Ej = fXj - float(labelMat[j])
                alphaIold = alphas[i].copy()
                alphaJold = alphas[j].copy()
                if labelMat[i] != labelMat[j]:
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L == H:
                    print "L == H"
                    continue
                eta = 2.0 * dataMatrix[i, :] * dataMatrix[j, :].T \
                      - dataMatrix[i, :] * dataMatrix[i, :].T \
                      - dataMatrix[j, :] * dataMatrix[j, :].T
                if eta >= 0:
                    print "eta >= 0"
                    continue
                alphas[j] -= labelMat[j] * (Ei - Ej) / eta
                alphas[j] = clipAlpha(alphas[j], H, L)
                if abs(alphas[j] - alphaJold) < 0.00001:
                    print "j not moving enough"
                    continue
                alphas[i] += labelMat[j] * labelMat[i] * (alphaJold - alphas[j])
                b1 = b - Ei \
                     - labelMat[i] * (alphas[i] - alphaIold) * dataMatrix[i, :] * dataMatrix[i, :].T \
                     - labelMat[j] * (alphas[j] - alphaJold) * dataMatrix[j, :] * dataMatrix[i, :].T
                b2 = b - Ej \
                     - labelMat[i] * (alphas[i] - alphaIold) * dataMatrix[i, :] * dataMatrix[j, :].T \
                     - labelMat[j] * (alphas[j] - alphaJold) * dataMatrix[j, :] * dataMatrix[j, :].T
                if 0 < alphas[i] < C:
                    b = b1
                elif 0 < alphas[j] < C:
                    b = b2
                else:
                    b = (b1 + b2) / 2.0
                alphaPairsChanged += 1
                print "iter: %d i:%d, pairs changed %d" % (Iter, i, alphaPairsChanged)
        if alphaPairsChanged == 0:
            Iter += 1
        else:
            Iter = 0
        print "iteration number: %d" % Iter
    return b, alphas


def show(dataArr, labelArr, alphas, b):
    for i in xrange(len(labelArr)):
        if labelArr[i] == -1:
            plt.plot(dataArr[i][0], dataArr[i][1], 'or')
        elif labelArr[i] == 1:
            plt.plot(dataArr[i][0], dataArr[i][1], 'Dg')
    # print alphas.shape, mat(labelArr).shape, multiply(alphas, mat(labelArr)).shape
    c = sum(multiply(multiply(alphas.T, mat(labelArr)), mat(dataArr).T), axis=1)
    minY = min(m[1] for m in dataArr)
    maxY = max(m[1] for m in dataArr)
    print minY, maxY
    plt.plot([sum((- b - c[1] * minY) / c[0]), sum((- b - c[1] * maxY) / c[0])], [minY, maxY])
    plt.plot([sum((- b + 1 - c[1] * minY) / c[0]), sum((- b + 1 - c[1] * maxY) / c[0])], [minY, maxY])
    plt.plot([sum((- b - 1 - c[1] * minY) / c[0]), sum((- b - 1 - c[1] * maxY) / c[0])], [minY, maxY])
    plt.show()

以及一个main.py用来测试程序

import SVM
from numpy import *

dataArr, labelArr = SVM.loadDataSet('testSet.txt')
b, alphas = SVM.smoSimple(dataArr, labelArr, 0.6, 0.001, 40)
SVM.show(dataArr, labelArr, alphas, b)

最后可以得到svm的分类结果
我特意增加几个离群的点,以显示出松弛变量对整个分类的影响
蓝线即为分割的超平面,绿线和红线上的点即我们所说的“支持向量”,绿线红线之间的点为离群的点
svm分类结果
训练的数据见
http://download.csdn.net/detail/xiaonannanxn/9618859
这次的代码实现了最基本的smo算法,选择αi和αj时分别遍历和随机选择,但是训练100个数据需要14s左右,在增大数据集后这种方法会变得很慢,接下来我会再实现一个优化的smo的算法,并加入核函数

版权声明:本文为博主原创文章,未经博主允许不得转载。

基于python的SVM 实例

机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python,然后也想对一些机器学习算法加深下了解,所以就想通过Python来实现几个比较常用的机器学习算法。恰好...
  • shenxiaoming77
  • shenxiaoming77
  • 2016年12月07日 17:45
  • 2306

用Python开始机器学习(8:SVM支持向量机)

SVM 支持向量机
  • lsldd
  • lsldd
  • 2014年11月29日 02:13
  • 38936

SVM 基本概念及Python实现方式

SVM(support vector machine)支持向量机: 注意:本文不准备提到数学证明的过程,一是因为有一篇非常好的文章解释的非常好:http://blog.csdn.net/v_july_...
  • jerry81333
  • jerry81333
  • 2016年11月16日 09:55
  • 3394

机器学习算法与Python实践之(二)支持向量机(SVM)初级

机器学习算法与Python实践之(二)支持向量机(SVM)初级zouxy09@qq.comhttp://blog.csdn.net/zouxy09        机器学习算法与Python实践这个系列...
  • zouxy09
  • zouxy09
  • 2013年12月12日 23:46
  • 66623

机器学习实战python实例(2)SVM 训练数据

  • 2016年09月01日 12:53
  • 2KB
  • 下载

python实例2-写一个爬虫下载小功能

主要是通过url,和re两个模块对一个网页的固定图片进行模糊匹配后下载下来。 #! /usr/bin/python import re import urllib def gethtml(url)...
  • qq_33932782
  • qq_33932782
  • 2017年01月02日 10:17
  • 531

看懂这些例子,一天之内学会python2

本文系笔者学习python之初,写的一些实例测试代码,其内容涵盖了python2的大部分内容,看完本文中的例子,编写一般的python程序,不成问题,若想深入学习python,本文也将是很好的入门实例...
  • mengzhongsuiyi521
  • mengzhongsuiyi521
  • 2016年03月01日 19:15
  • 933

用python玩转selenium:2-入门实例及分析

selenium2入门 上篇-用python玩转selenium:1-准备环境已经介绍了selenium-python环境配置,或者说安装的python已经集成了selenium模块,现在我们就可以开...
  • nhudx061
  • nhudx061
  • 2015年02月07日 09:40
  • 45229

机器学习实战python实例(2)SVM与核函数

前两篇博客涉及到的SVM还只是一个线性分类器,如果在二维情况下遇到如下的情况,线性分类器的效果就不会很好了 这个时候我们就需要一个叫做核函数的东西,简单来说它的最大作用就是把低维数据映射到高维数据,...
  • xiaonannanxn
  • xiaonannanxn
  • 2016年09月02日 14:12
  • 2555

python 支持向量机SVM实例解析

import numpy as npy from sklearn import svm import matplotlib.pyplot as plt'''加载数据''' x1 = [] y1 = [...
  • a394268045
  • a394268045
  • 2017年12月28日 20:52
  • 6111
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习实战python实例(2)SVM
举报原因:
原因补充:

(最多只允许输入30个字)