关闭

SVM——分类与回归实例

标签: SVMSVR支持向量机
135人阅读 评论(0) 收藏 举报
分类:

在线课堂——支持向量机实例学习笔记。

支持向量机简介

支持向量机是一种监督学习数学模型,由n个变量组成的数据项都可以抽象成n维空间内的一个点,点的各个维度坐标值即为各个变量。如果一堆数据项可以分为m个类,那么可以构建m-1个n维超平面将不同种类的数据项的点尽量分隔开,则这些超平面为支持向量面,这个分类数学模型为支持向量机分类模型。

Classification分析——鸢尾花数据集

Scikit-Learn自带鸢尾花数据集,可使用datasets.load_iris()载入。

  • data——每行是某个鸢尾花的花萼长度、花萼宽度、花瓣长度、花瓣宽度。
  • target——第n个数据分别表示data段第n行数据所对应的鸢尾花类别编号(共3类)。

首先,使用交叉验证法进行分析。由于交叉验证法每次选取的测试集是随机的,因此每次运算结果未必相同。下面为鸢尾花数据集的SVM聚类训练的源码,并用交叉验证法进行分析。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVC
from numpy import *

# download the dataset
iris_dataset = datasets.load_iris()
iris_data = iris_dataset.data           
iris_target = iris_dataset.target

# split data and target into training set and testing set
# 80% training, 20% testing
x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_target, test_size = 0.2)
# construct SVC by using rbf as kernel function
SVC_0 = SVC(kernel = 'rbf')
SVC_0.fit(x_train, y_train)

predict = SVC_0.predict(x_test)
right = sum(predict == y_test)
# accuracy rate
print("%f%%" % (right * 100.0 / predict.shape[0]))

以下源码是使用留一验证法(Leave-One-Out,LOO)对鸢尾花数据集进行分析。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVC
from numpy import *

def data_svc_test(data, target, index):
    x_train = vstack((data[0: index], data[index + 1: -1]))
    x_test = data[index]
    y_train = hstack((target[0: index], target[index + 1: -1]))
    y_test = target[index]
    SVC_0 = SVC(kernel = 'rbf')
    SVC_0.fit(x_train, y_train)
    predict = SVC_0.predict(x_test)
    return predict == y_test

# download the dataset
iris_dataset = datasets.load_iris()
iris_data = iris_dataset.data           
iris_target = iris_dataset.target
length = iris_target.shape[0]
right = 0
for i in range(0, length):
    right += data_svc_test(iris_data, iris_target, i)

# accuracy rate
print("%f%%" % (right * 100.0 / length))

Regression分析——波士顿房价数据集

Scikit-learn自带波士顿房价集,该数据集来源于1978年美国某经济学杂志上,可由datasets.load_boston()载入。该数据集包含若干波士顿房屋的价格及其各项数据,每个数据项包含14个数据,分别是房屋均价及周边犯罪率、是否在河边等相关信息,其中最后一个数据是房屋均价。
这里涉及到了一个数据预处理的步骤——为了便于后续训练,需要对读取到的数据进行处理。因为影响房价的数据的范围都不一致,这些数据都不在一个数量级上,如果直接使用未经预处理的数据进行训练,很容易导致数值大的数据对结果影响极大,从而不能平衡的体现出各个数据的重要性。因此需要通过数学方法,依据方差、平均值等因素,把各类数据放缩到一个相同的范围内,使其影响力所占权重相近。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVR
# preprocessing function
from sklearn.preprocessing import StandardScaler
from numpy import *

house_dataset = datasets.load_boston()
house_data = house_dataset.data
house_price = house_dataset.target
x_train, x_test, y_train, y_test = train_test_split(house_data, house_price, test_size = 0.2)
# f(x) = (x - means) / standard deviation
scaler = StandardScaler()
scaler.fit(x_train)
# standardization
x_train = scaler.transform(x_train)
x_test = scaler.transform(x_test)

# construct SVR model
svr = SVR(kernel = 'rbf')
svr.fit(x_train, y_train)
y_predict = svr.predict(x_test)
result = hstack((y_test.reshape(-1, 1), y_predict.reshape(-1, 1)))
print(result)

最后预测结果呈2列显示,第1列为实际房价,第2列为预测房价,此处略



作者:一枚圆滚滚的鸡蛋
链接:http://www.jianshu.com/p/84015743be01
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:219997次
    • 积分:2332
    • 等级:
    • 排名:第16935名
    • 原创:8篇
    • 转载:245篇
    • 译文:0篇
    • 评论:4条
    最新评论