scikit-learn SVM

最新推荐文章于 2023-04-26 10:57:08 发布
最新推荐文章于 2023-04-26 10:57:08 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： scikit-learn 机器学习

本文转载其他博主资料，转载地址为http://www.w2bc.com/article/131097



======================================================================

本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正 

转载请注明出处，谢谢  

======================================================================

机器学习中的算法(2)-支持向量机(SVM)基础

关于SVM一篇比较全介绍的博文
程序员训练机器学习 SVM算法分享


一：我对SVM的理解

先介绍一些简单的基本概念

分隔超平面：将数据集分割开来的直线叫做分隔超平面。

超平面：如果数据集是N维的，那么就需要N-1维的某对象来对数据进行分割。该对象叫做超平面，也就是分类的决策边界。

间隔：

一个点到分割面的距离，称为点相对于分割面的距离。

数据集中所有的点到分割面的最小间隔的2倍，称为分类器或数据集的间隔。

最大间隔：SVM分类器是要找最大的数据集间隔。

支持向量：坐落在数据边际的两边超平面上的点被称为支持向量


1：超平面


                                                                         

对于上图直观的理解是红线的分类效果最好，为什么？

由此便引出了超平面的定义，SVM的目标就是寻找区分两类的超平面（hyper plane），使边际（margin）最大化。

那么如何选择超平面？超平面到一侧最近点的距离等于另一侧最近点的距离，两个超平面平行，如下图。

                                                                         

2：线性可区分（linear separable）和线性不可区分（linear inseparable）

上面显示的两个图都是线性可区分的，就是说很容易找到一个超平面将数据分割成两类

                                                                    

上图中的两个图形都是线性不可区分的，这种情况下，我们就需要用到核函数，将数据映射到高维空间中，寻找可区分数据的超平面

                                  

对于这幅图来说， 就是图中黄色那个点，它是方形的，因而它是负类的一个样本，这单独的一个样本，使得原本线性可分的问题变成了线性不可分的。这样类似的问题（仅有少数点线性不可分）叫做“近似线性可分”的问题。对于这类问题的处理就引入了一个松弛变量，当然随之而来的便是惩罚因子了，具体他们是什么请参考：点击阅读 ， 这里不做解释

3：针对线性可区分，求超平面推导

超平面的公式可以定义为 ： W * X + b = 0  W表示权重向量  W= {w1,w2,w3,w4.....,wn},n为特征值的个数 ， X为训练实例， b表示偏移量

                                                                    

在这里假设二维特征向量X=（x1，x2）

做另外一个假设就是把b看作是另外一个weight，那么超平面就可以更新为： w0 + w1 * x1 +w2 * x2 = 0 

所有超平面右上方的点满足：                    w0 + w1 * x1 +w2 * x2 > 0

所有超平面左下方的点满足：                    w0 + w1 * x1 +w2 * x2 < 0

调整weight，使超平面定义边际的两边：

                                                                        H1：H1：w0 + w1 * x1 +w2 * x2 > 1 for yi=+1

                                                                        H2：w0 + w1 * x1 +w2 * x2  =< -1 for yi=-1

综合上边两个公式得到：

                                                                       (1): yi ( w0 + w1 * x1 +w2 * x2 ) >= 1  ,对于所有的i来说

所有坐落在数据边际的两边超平面上的点被称为支持向量
分界的超平面H1和H2任意一点的距离为 1/||W||  （推导过程这里略过，推导参考博客）   ， ||W||表示向量的范数

                                                     W= sqrt（W1^2 + W2^2 + ... + Wn^2）
所以两边最大距离为                      2/||W||

利用一些数学公式的推导，以上公式(1)可以变为有限制的凸优化问题，利用KKT条件和拉格朗日公式，可以推出MMH（最大超平面）表示为以下决策边界：

                                                                                                         

yi是支持向量点Xi的类别标记

X^T是要测试的实例

ai和b0都是单一数值型参数

l是支持向量点的个数

下面看一张示例图片:

                 

特性：训练好的模型算法复杂度是由支持向量的个数决定的，而不是 数据的纬度决定的，所以SVM不太容易产生OverWriting

          SVM训练出的模型完全依赖于支持向量，即使所有训练集里所有非支持向量的点都被去除，重复训练过程，结果仍会得到一个完全一模一样的模型

          一个SVM如果训练得出的支持向量个数比较小，SVM训练出的模型也容易被泛化


4：针对线性不可区分，求超平面推导

                                                            

针对这种在空间中对应的向量不能被一个超平面划分开，用以下两个步骤来解决

         1：利用一个非线性的映射把原数据集中的向量点转化到一个更高维的空间中

         2：在这个高纬度的空间中找一个线性超平面来根据线性可分的情况处理

如下图示：

                                                               

                                                       

那么如何利用非线性映射把 转化到高维空间中

下面看一个小例子：

                            

思考问题：如何选择合理的非线性转化把数据转到高维空间中？如何解决计算内积时算法复杂度高的问题？

答案是使用核函数

5：核函数

更多关于核函数请参考：点击阅读




至此SVM已经被我描述的差不多，其中的两部分求超平面的具体数学推导和核函数的具体使用方法，我并没有写，第一是因为，对于非数学专业的人来讲确实麻烦了，其次是自己太菜，但是网上已经有很多写的很好的博客，大家可以参考，下面我们就来看看scikit-learn上SVM的具体使用吧



二：Scikit-learn上对SVM相关描述

1：Classification

首先我们来看看SVC，NvSVC，LinearSVC的区别和样例

SVC（C-Support Vector Classification）：支持向量分类，基于libsvm实现的（libsvm详情参考 或者百科），数据拟合的时间复杂度是数据样本的二次方，这使得他很难扩展到10000个数据集，当输入是多类别时（SVM最初是处理二分类问题的），通过一对一的方案解决，当然也有别的解决办法，比如说（以下为引用）：

========================================================================================

SVM解决多分类问题的方法 
SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。目前，构造SVM多类分类器的方法主要有两类：一类是直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于小型问题中；另一类是间接法，主要是通过组合多个二分类器来实现多分类器的构造，常见的方法有one-against-one和one-against-all两种。 
a.一对多法（one-versus-rest,简称1-v-r SVMs）。训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。 
b.一对一法（one-versus-one,简称1-v-1 SVMs）。其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。Libsvm中的多类分类就是根据这个方法实现的。 
c.层次支持向量机（H-SVMs）。层次分类法首先将所有类别分成两个子类，再将子类进一步划分成两个次级子类，如此循环，直到得到一个单独的类别为止。 
对c和d两种方法的详细说明可以参考论文《支持向量机在多类分类问题中的推广》（计算机工程与应用。2004） 
d.其他多类分类方法。除了以上几种方法外，还有有向无环图SVM（Directed Acyclic Graph SVMs，简称DAG-SVMs）和对类别进行二进制编码的纠错编码SVMs。 

=====================================================================================
svc使用代码示例（我演示的是最简单的，官网上还有很多看起来很漂亮的分类示例，感兴趣的可以自己参考下）：

<span style="font-family:Microsoft YaHei;"><span style="font-family:Microsoft YaHei;font-size:14px;">'''
SVC参数解释
（1）C: 目标函数的惩罚系数C，用来平衡分类间隔margin和错分样本的，default C = 1.0；
（2）kernel：参数选择有RBF, Linear, Poly, Sigmoid, 默认的是"RBF";
（3）degree：if you choose 'Poly' in param 2, this is effective, degree决定了多项式的最高次幂；
（4）gamma：核函数的系数('Poly', 'RBF' and 'Sigmoid'), 默认是gamma = 1 / n_features;
（5）coef0：核函数中的独立项，'RBF' and 'Poly'有效；
（6）probablity: 可能性估计是否使用(true or false)；
（7）shrinking：是否进行启发式；
（8）tol（default = 1e - 3）: svm结束标准的精度;
（9）cache_size: 制定训练所需要的内存（以MB为单位）；
（10）class_weight: 每个类所占据的权重，不同的类设置不同的惩罚参数C, 缺省的话自适应；
（11）verbose: 跟多线程有关，不大明白啥意思具体；
（12）max_iter: 最大迭代次数，default = 1， if max_iter = -1, no limited;
（13）decision_function_shape ： ‘ovo’ 一对一, ‘ovr’ 多对多  or None 无, default=None
（14）random_state ：用于概率估计的数据重排时的伪随机数生成器的种子。
 ps：7,8,9一般不考虑。
'''
from sklearn.svm import SVC
import numpy as np
X= np.array([[-1,-1],[-2,-1],[1,1],[2,1]])
y = np.array([1,1,2,2])

clf = SVC()
clf.fit(X,y)
print clf.fit(X,y)
print clf.predict([[-0.8,-1]])</span></span>

输出结果为：
第一个打印出的是svc训练函数的参数，其更多参数说明请参考：点击阅读
最后一行打印的是预测结果

NuSVC（Nu-Support Vector Classification.）：核支持向量分类，和SVC类似，也是基于libsvm实现的，但不同的是通过一个参数空值支持向量的个数

示例代码：

<span style="font-family:Microsoft YaHei;"><span style="font-family:Microsoft YaHei;font-size:14px;">'''
NuSVC参数
nu：训练误差的一个上界和支持向量的分数的下界。应在间隔（0，1 ]。
其余同SVC
'''
import numpy as np
X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
y = np.array([1, 1, 2, 2])
from sklearn.svm import NuSVC
clf = NuSVC()
clf.fit(X, y) 
print clf.fit(X,y)
print(clf.predict([[-0.8, -1]]))
</span></span>


输出结果：

更多NuSVC的参考：点击阅读


LinearSVC（Linear Support Vector Classification）：线性支持向量分类，类似于SVC，但是其使用的核函数是”linear“上边介绍的两种是按照brf（径向基函数计算的，其实现也不是基于LIBSVM，所以它具有更大的灵活性在选择处罚和损失函数时，而且可以适应更大的数据集，他支持密集和稀疏的输入是通过一对一的方式解决的

代码使用实例如下：

<span style="font-family:Microsoft YaHei;">'''
LinearSVC 参数解释
C：目标函数的惩罚系数C，用来平衡分类间隔margin和错分样本的，default C = 1.0；
loss ：指定损失函数
penalty ：
dual ：选择算法来解决对偶或原始优化问题。当n_samples > n_features 时dual=false。
tol ：（default = 1e - 3）: svm结束标准的精度;
multi_class：如果y输出类别包含多类，用来确定多类策略， ovr表示一对多，“crammer_singer”优化所有类别的一个共同的目标
如果选择“crammer_singer”，损失、惩罚和优化将会被被忽略。
fit_intercept ：
intercept_scaling ：
class_weight ：对于每一个类别i设置惩罚系数C = class_weight[i]*C,如果不给出，权重自动调整为 n_samples / (n_classes * np.bincount(y))
verbose：跟多线程有关，不大明白啥意思具体<pre name="code" class="python">

from sklearn.svm import SVC

X=[[0],[1],[2],[3]]
Y = [0,1,2,3]

clf = SVC(decision_function_shape='ovo') #ovo为一对一
clf.fit(X,Y)
print clf.fit(X,Y)

dec = clf.decision_function([[1]])    #返回的是样本距离超平面的距离
print dec

clf.decision_function_shape = "ovr"
dec =clf.decision_function([1]) #返回的是样本距离超平面的距离
print dec

#预测
print clf.predict([1])</span>

random_state ：用于概率估计的数据重排时的伪随机数生成器的种子。max_iter ：'''import numpy as npX = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])y = np.array([1, 1, 2, 2])from sklearn.svm import LinearSVCclf = LinearSVC()clf.fit(X, y) print clf.fit(X,y)print(clf.predict([[-0.8, -1]])) 
 

 结果如下：
 

 
 

 
 

 更多关于LinearSVC请参考：点击阅读
 

 Multi-class classification（多类别分类）
 
SVC和NuSVC对于多分类问题采用的是一对一的方法，若n_class表示类别的数目，则需要构造n_class *（n_class - 1）/ 2个分类器，每一次训练集采用两类别，提供了一个与其它分类一致的接口，该decision_function_shape选项允许聚合结果的“一对一”的分类决策函数的形状，下边看一小例子 
 

 
 

 
 

<span style="font-family:Microsoft YaHei;">#-*-coding:utf-8-*-
'''
Created on 2016年4月29日

@author: Gamer Think
'''

from sklearn.svm import SVC,LinearSVC

X=[[0],[1],[2],[3]]
Y = [0,1,2,3]

'''
SVC and NuSVC
'''
clf = SVC(decision_function_shape='ovo') #ovo为一对一
clf.fit(X,Y)
print "SVC:",clf.fit(X,Y)

dec = clf.decision_function([[1]])    #返回的是样本距离超平面的距离
print "SVC:",dec

clf.decision_function_shape = "ovr"
dec =clf.decision_function([1]) #返回的是样本距离超平面的距离
print "SVC:",dec

#预测
print "预测：",clf.predict([1])

'''</span><pre name="code" class="python"><span style="font-family:Microsoft YaHei;">LinearSVC</span>
 
'''lin_clf = LinearSVC()lin_clf.fit(X, Y) dec = lin_clf.decision_function([[1]])print "LinearSVC:",dec.shape[1] 
 

 
 
 

 
 

 结果显示：
 

 
 

 红色字体暂时忽略
 

 
 

  Unbalanced problems（数据不平衡问题）
 
对于非平衡级分类超平面，使用不平衡SVC找出最优分类超平面，基本的思想是，我们先找到一个普通的分类超平面，自动进行校正，求出最优的分类超平面 

 
 

 这里可以使用 SGDClassifier(loss="hinge")代替SVC(kernel="linear")
 

 针对下面的svc可以使用 clf=SGDClassifier(n_iter=100,alpha=0.01)代替
 

<span style="font-family:Microsoft YaHei;"># -*-coding:utf-8-*-
'''
Created on 2016年5月4日

@author: Gamer Think
'''
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
#from sklearn.linear_model import SGDClassifier

# we create 40 separable points
rng = np.random.RandomState(0)
n_samples_1 = 1000
n_samples_2 = 100
X = np.r_[1.5 * rng.randn(n_samples_1, 2),0.5 * rng.randn(n_samples_2, 2) + [2, 2]]
y = [0] * (n_samples_1) + [1] * (n_samples_2)
print X
print y

# fit the model and get the separating hyperplane
clf = svm.SVC(kernel='linear', C=1.0)
clf.fit(X, y)

w = clf.coef_[0]
a = -w[0] / w[1]      #a可以理解为斜率
xx = np.linspace(-5, 5)
yy = a * xx - clf.intercept_[0] / w[1]    #二维坐标下的直线方程


# get the separating hyperplane using weighted classes
wclf = svm.SVC(kernel='linear', class_weight={1: 10})
wclf.fit(X, y)

ww = wclf.coef_[0]
wa = -ww[0] / ww[1]
wyy = wa * xx - wclf.intercept_[0] / ww[1]   #带权重的直线

# plot separating hyperplanes and samples
h0 = plt.plot(xx, yy, 'k-', label='no weights')
h1 = plt.plot(xx, wyy, 'k--', label='with weights')
plt.scatter(X[:, 0], X[:, 1], c=y)
plt.legend()

plt.axis('tight')
plt.show()</span>
 
运行结果截图 
 
 
 

  
 

  2：Regression
 
支持分类的支持向量机可以推广到解决回归问题，这种方法称为支持向量回归 
  
支持向量分类所产生的模型仅仅依赖于训练数据的一个子集，因为构建模型的成本函数不关心在超出边界范围的点，类似的，通过支持向量回归产生的模型依赖于训练数据的一个子集，因为构建模型的函数忽略了靠近预测模型的数据集。 
  
有三种不同的实现方式：支持向量回归SVR，nusvr和linearsvr。linearsvr提供了比SVR更快实施但只考虑线性核函数，而nusvr实现比SVR和linearsvr略有不同。
 作为分类类别，训练函数将X,y作为向量，在这种情况下y是浮点数
  
 

  
 

<span style="font-family:Microsoft YaHei;">>>> from sklearn import svm
>>> X = [[0, 0], [2, 2]]
>>> y = [0.5, 2.5]
>>> clf = svm.SVR()
>>> clf.fit(X, y) 
SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=0.1, gamma='auto',
    kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False)
>>> clf.predict([[1, 1]])
array([ 1.5])</span>
 

 下面看一个使用SVR做线性回归的例子： 
 

<span style="font-family:Microsoft YaHei;">#-*-coding:utf-8-*-
'''
Created on 2016年5月4日

@author: Gamer Think
'''
import numpy as np
from sklearn.svm import SVR
import matplotlib.pyplot as plt

###############################################################################
# Generate sample data
X = np.sort(5 * np.random.rand(40, 1), axis=0)  #产生40组数据，每组一个数据，axis=0决定按列排列，=1表示行排列
y = np.sin(X).ravel()   #np.sin()输出的是列，和X对应，ravel表示转换成行

###############################################################################
# Add noise to targets
y[::5] += 3 * (0.5 - np.random.rand(8))

###############################################################################
# Fit regression model
svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.1)
svr_lin = SVR(kernel='linear', C=1e3)
svr_poly = SVR(kernel='poly', C=1e3, degree=2)
y_rbf = svr_rbf.fit(X, y).predict(X)
y_lin = svr_lin.fit(X, y).predict(X)
y_poly = svr_poly.fit(X, y).predict(X)

###############################################################################
# look at the results
lw = 2
plt.scatter(X, y, color='darkorange', label='data')
plt.hold('on')
plt.plot(X, y_rbf, color='navy', lw=lw, label='RBF model')
plt.plot(X, y_lin, color='c', lw=lw, label='Linear model')
plt.plot(X, y_poly, color='cornflowerblue', lw=lw, label='Polynomial model')
plt.xlabel('data')
plt.ylabel('target')
plt.title('Support Vector Regression')
plt.legend()
plt.show()</span>
 

 运行结果： 
 

  
 

  
 

  
 
当然，官网上还有关于以下几个方面的，在这里小编就不翻译了感兴趣的自己看吧： 
  
密度估计，新颖性检测
 复杂性
 实用的技巧
 核函数
 数学公式
 实施细则
  
 

  
 
SVM实在是很强大，不是我这等菜鸟短时间内所能参透的，以后有机会还会继续学习SVM，我相信不同的时间看同一个算法或者项目会有不同的收获，谢谢
                

        

        

    




    

      

        

            

              
                
                  accumulate_zhang
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
菜菜的scikit-learn课堂源码及文档.rar

				
			

			

				

					02-14
				

			

		

		

			
				
菜菜的scikit-learn课堂08 sklearn中的支持向量机SVM - 案例直播课.pdf  菜菜的scikit-learn课堂09 sklearn中的线性回归大家族.pdf  菜菜的scikit-learn课堂10 sklearn中的朴素贝叶斯.pdf  菜菜的scikit-learn课堂11...

			
		

	



                

              
                



	

		

			

				
					
scikit-learn学习之SVM算法

				
			

			

				

					weixin_33835690的博客
				

				

					05-04
					
					1082
					
				

			

		

		

			
				
======================================================================

本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正

转载请注明出处，谢谢 


================================...

			
		

	



                


  
              

                


	

		

			

				
					
支持向量机

				
			

			

				

					nextdoor6的博客
				

				

					10-30
					
					833
					
				

			

		

		

			
				
支持向量机

1.超平面公式

n 维空间中的超平面由下面的方程确定:



其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。且

       

2.距离公式

如果在二维空间中有直线Ax+By+C=0,(x0,y0)到该直线的距离为



如果在三维空间中有直线Ax+By+Cz+D=0,(x0,y0,z...

			
		

	





	

		

			

				
					
SVM学习（一）SVM模型训练与分类

				
			

			

				

					aa997749935的博客
				

				

					03-08
					
					3万+
					
				

			

		

		

			
				
SVM模型训练与分类
支持向量机（SVM）：
一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记好的训练本（监督式学习），SVM算法输出一个最优化的超分隔平面。本次利用VS2015+OpenCV3.4.1实现SVM算法，完成数据集的训练，生成XML文件，然后通过调用XML文件来实现图片的识别分类。即为分三个步骤：数据集的准备、数据集的模型训练以及利用训练好的模型进行测试分类。
目的...

			
		

	



		

			
		



	

		

			

				
					
【scikit-learn】支持向量机(Support Vector Machine, SVM)

				
			

			

				

					
				

				

					12-18
					
					475
					
				

			

		

		

			
				
支持向量机(Support Vector Machine, SVM)
SVM是一种二元分类模型，它依托的原理是如果能找到一条线，能够划分样本，并且训练点到线的间隔尽可能远，也就是所有点到超平面的最小值要最大，这样的分割线(一般叫超平面, Hyperplane)就是最好的分类方式，间隔叫作Margin。因此SVM的两个关键点就是：完全分类正确，及所有点到超平面的最小值要最大。

1. 线性SVM
设定超平面为wTx+b=0w^{T} x+b=0wTx+b=0, 在超平面上方我们定义y=1y=1y=1，下方定义

			
		

	





	

		

			

				
					
超平面是什么？——理解超平面（SVM开篇之超平面详解）

					
热门推荐

				
			

			

				

					dengheCSDN的博客
				

				

					08-17
					
					9万+
					
				

			

		

		

			
				
        研究了半天，终于对“超平面”有了个初步了解。         n 维空间中的超平面由下面的方程确定:                                                 其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。且                       ...

			
		

	





	

		

			

				
					
scikit-learn-examples：使用Scikit-learn探索Logistic回归，MLP和SVM

				
			

			

				

					02-04
				

			

		

		

			
				
使用Scikit-learn探索Logistic回归，MLP和SVM 档案 main.py：主程序 config.py：配置，参数 util.py：与数据预处理有关 model.py：模型 img /：用于保存损失函数图的目录（用于线性回归） 数据集 乳腺癌 糖尿病 数字...

			
		

	





	

		

			

				
					
Scikit-learn多种分类方法，逻辑回归LR、多层感知机MLP、支持向量机（SVM）、K近邻（KNN)附英文实验报告

				
			

			

				

					06-19
				

			

		

		

			
				
使用多种方法完成MNIST分类任务 ...Scikit-learn 0.21 无需下载数据直接跑，代码自动下载 逻辑回归 Logistic Regression 多层感知机 MLP K近邻 KNN 支持向量机 SVM 卷积神经网络 CNN 循环神经网络 RNN

			
		

	





	

		

			

				
					
Scikit-Learn:Python中的SKLearn库

				
			

			

				

					04-10
				

			

		

		

			
				
Scikit学习Scikit-learn：是用于Python编程语言的免费软件机器学习库。 它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度提升，k均值和DBSCAN，并且旨在与Python数值和科学库NumPy和SciPy互操作。...

			
		

	





	

		

			

				
					
SVMFirstLook:关于 SVM、scikit-learn 的一些执行

				
			

			

				

					07-02
				

			

		

		

			
				
使用 scikit-learn 做关于 SVM 的 execrises  环境：Ubuntu14.04 sublime2 python2.7.6 分类对比：  线性模型：与感知器比较 plot_linear_model.py  plot_perceptron_test1.py（不同的coef_init 和intercept_init） ...

			
		

	





	

		

			

				
					
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

				
			

			

				

					qq_44665283的博客
				

				

					04-26
					
					2698
					
				

			

		

		

			
				
支持向量机中点到超平面距离公式推导、SVM硬间隔、软间隔模型和损失函数推导及意义详解

			
		

	





	

		

			

				
					
SVM（四）：超平面详细解释

				
			

			

				

					lyy的博客
				

				

					01-19
					
					2156
					
				

			

		

		

			
				
目录背景定义超平面方程推导平面直线方程空间平面方程超平面点到超平面的距离推导点到平面直线的距离点到空间平面的距离超平面判断超平面的正反
背景

关于超平面的介绍，网上的博客资料太多了，然而真正简洁易懂、切中要害的实在是太少了，我在学习这个问题的过程中遇到了太多坎坷，这里将一些比较直白易懂的讲解和个人理解展示出来。
引用的一些图片、公式等来源于：https://www.cnblogs.com/yanghh/p/13617129.html

定义

见下图

我不太想在定义上就用一些很复杂的解释手法，有很多博客

			
		

	





	

		

			

				
					
轻松理解超平面

				
			

			

				

					小白一直白
				

				

					08-25
					
					1823
					
				

			

		

		

			
				
前言

定义：
1、超平面是指n维线性空间中维度为n-1的子空间。它可以把线性空间分割成不相交的两部分。比如二维空间中，一条直线是一维的，它把平面分成了两块；三维空间中，一个平面是二维的，它把空间分成了两块。
2、法向量是指垂直于超平面的向量。

过原点的超平面

假设在R3空间中，有一个过原点的超平面，其法向量为ω⃗\vec{\omega}ω（ω\omegaω1,ω\omegaω2,ω\omegaω3），过原点的平面内任意原点出发的向量x⃗\vec{x}x，必有ω\omegaωTx = 0。
故超平面公式

			
		

	





	

		

			

				
					
SVM原理：超平面方程

				
			

			

				

					iracer的博客
				

				

					03-01
					
					3024
					
				

			

		

		

			
				
（1）超平面方程

3维空间中平面方程的一般形式：

 (1)

平面的法向量为，为平面到原点的距离。

d维空间平面方程的一般形式：

 (2)

平面的法向量为，（分号表示列向量）。

（2）向量表示

三维空间中的向量可以用点坐标来表示。向量表示一个过原点与该点的向量。

两个向量和垂直的充要条件为：

 (3)

即，

 (4)

（3）超平面的法向量

为什么超平面的法向量为？



以3维空间为例，设平面上任意两点,，由于两个点都在平面上，所以均满足平面方程：



上两式相...

			
		

	





	

		

			

				
					
【数据分析4】scikit-learn机器学习

				
			

			

				

					AI_LINNGLONG的博客
				

				

					02-21
					
					899
					
				

			

		

		

			
				
1.机器学习方法：
• 构造间隔理论分布：聚类分析和模式识别
• 人工神经网络
• 决策树
• 感知器
• 支持向量机
• 集成学习AdaBoos
• 降维与度量学习
• 聚类
• 贝叶斯分类器
• 构造条件概率：回归分析和统计分类
• 高斯过程回归
• 线性判别分析
• 最近邻居法
• 径向基函数核
• 通过再生模型构造概率密度函数：
• 最大期望算法
• 概率图模型：包括贝叶斯网和 Marko...

			
		

	





	

		

			

				
					
超平面公式推导及理解

				
			

			

				

					Alina_M的博客
				

				

					06-30
					
					4385
					
				

			

		

		

			
				
  最近在学习《统计学习方法》，在学习第一个机器学习算法 ——感知机时，提出了超平面的概念，以下为超平面公式的推导及空间中任意一点距离超平面距离的推导。方便日后复习。参考
超平面
  

...

			
		

	





	

		

			

				
					
Scikit-learn的优点

					
最新发布

				
			

			

				

					09-24
				

			

		

		

			
				
Scikit-learn是一个基于Python的机器学习库，它有以下优点:  1. 易于使用: scikit-learn提供了一个统一的界面，可以简化机器学习任务的实现。  2. 高效: scikit-learn内部使用了大量优化过的算法, 它可以高效地处理...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值