SVM in R

SVM in R

SVM算法最初是用来处理二分类问题的，是一种有监督学习的分类算法。
对于线性可分的二分类问题，我们可以找到无穷多个超平面，将两类样本进行区分。

线性可分SVM所寻找的最优超平面就是要尽可能的远离所有类别的数据点，使得间隔（margin）最大，利用间隔最大化来求得最优超平面。

低维中无法分类的话映射到高维空间，如何映射？核函数映射。

1. 核函数的选取

一般用线性核和高斯核，也就是Linear核与RBF核
需要注意的是需要对数据归一化处理，很多使用者忘了这个小细节
然后一般情况下RBF效果是不会差于Linear
但是RBF会耗时更多，其他同学也解释过了
下面是吴恩达的见解：

1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况

2.常见的核函数

3.R实现

library(e1071)
plot(iris)

plot(iris$Sepal.Length, iris$Sepal.Width, col=iris$Species)
plot(iris$Petal.Length, iris$Petal.Width, col=iris$Species)

s   <- sample(150, 100)
col <- c("Petal.Length", "Petal.Width", "Species")
iris_train <- iris[s, col]
iris_test  <- iris[-s, col]

svmfit <- svm(Species ~., data = iris_train, kernel = "linear", cost = .1, scale = FALSE)
print(svmfit)
plot(svmfit, iris_train[, col])

tuned <- tune(svm, Species ~., data = iris_train, kernel = "linear",
              ranges = list(cost = c(0.001, 0.01, 0.1, 1, 10, 100)))
summary(tuned)

p <- predict(svmfit, iris_test[, col], type = "class")
plot(p)
table(p, iris_test[, 3])
mean(p == iris_test[, 3])