支持向量机（SVM）入门C#代码实现smo（四，算法编译调试成功，针对开头举例，数学推导与程序运行结果一致）

最新推荐文章于 2023-12-27 08:16:53 发布
最新推荐文章于 2023-12-27 08:16:53 发布
阅读量493 收藏 2
点赞数
分类专栏： 人工智能浅尝 支持向量机svm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ganggangwawa/article/details/108510083
版权

注释： 前三篇参考豆子的博客和支持向量机三重境界

  int RandomSelect(int i)
        {
            int j = i;
            while (i == j)
            {
                Random rm = new Random();
                j = rm.Next(0, 2);
            }
            return j;
        }

        int kk(int i, int j)
        {
            int k11 = 18; int k12 = 21; int k21 = k12; int k13 = 6; int k31 = 6; int k23 = 7; int k32 = 7; int k22 = 25; int k33 = 2;
            int temp = 0;
            switch (i)
            {
                case 0://1
                    {
                        if (j == 0) {temp=k11; } else if (j == 1) {temp=k12; } else { temp=k13;}
                    }
                    break;
                case 1: { if (j == 0) {temp=k21; } else if (j == 1) {temp=k22; } else {temp=k23; } }//2
                    break;
                case 2: { if (j == 0) { temp = k31; } else if (j ==1) { temp = k32; } else { temp = k33; } }//3
                    break;
            }
            return temp;
        }
        void smo()
        {
            List<Point> xx=new List<Point>();
            Point temppt=new Point(3,3);
            xx.Add(temppt);
             temppt=new Point(4,3);
             xx.Add(temppt);
             temppt=new Point(1,1);
              xx.Add(temppt);

              List<int> yi= new List<int>();
              int tempyi = 1;
              yi.Add(tempyi);
              tempyi = 1;
              yi.Add(tempyi);
              tempyi = -1;
              yi.Add(tempyi);
            /*
         * 默认输入参数值
         * C: regularization parameter
         * tol: numerical tolerance
         * max passes
         */
        double C = 1; //对不在界内的惩罚因子
        double tol = 0.01;//容忍极限值
        int maxPasses = 5; //表示没有改变拉格朗日乘子的最多迭代次数
        List<int> boundAlpha = new List<int>();
        /*
         * 初始化a[], b, passes 
         */

        double[] a = new double[xx.Count];//拉格朗日乘子
        //this.a = a;
        
        //将乘子初始化为0
        for (int i = 0; i < xx.Count; i++)
        {
            a[i] = 0;
        }
        int passes = 0;
        double b = 0;
        
        while (passes < maxPasses) {
            //表示改变乘子的次数（基本上是成对改变的）
            int num_changed_alphas = 0;
            for (int i = 0; i < xx.Count; i++)
            {
                //表示特定阶段由a和b所决定的输出与真实yi的误差
                //参照公式(7)
                //double Ei = getE(i);
                int k11 = 18; int k12 = 21; int k21 = k12; int k13 = 6; int k31 = 6; int k23 = 7; int k32 = 7; int k22 = 25; int k33 = 2;
                double fxi = 0;
                switch (i)
                {
                    case 0://1
                        { fxi = a[0] * yi[0] * k11 + a[1] * yi[1] * k21 + a[2] * yi[2] * k31 + b; }
                        break;
                    case 1://2
                        { fxi = a[0] * yi[0] * k12 + a[1] * yi[1] * k22 + a[2] * yi[2] * k32 + b; }
                        break;
                    case 2://3
                        { fxi = a[0] * yi[0] * k13 + a[1] * yi[1] * k23 + a[2] * yi[2] * k33 + b; }
                        break;
                }
                double Ei =fxi-yi[i];
                /*;
                 * 把违背KKT条件的ai作为第一个
                 * 满足KKT条件的情况是：
                 * yi*f(i) >= 1 and alpha == 0 (正确分类)
                 * yi*f(i) == 1 and 0<alpha < C (在边界上的支持向量)
                 * yi*f(i) <= 1 and alpha == C (在边界之间)
                 * 
                 * 
                 * 
                 * ri = y[i] * Ei = y[i] * f(i) - y[i]^2 >= 0
                 * 如果ri < 0并且alpha < C 则违反了KKT条件
                 * 因为原本ri < 0 应该对应的是alpha = C
                 * 同理，ri > 0并且alpha > 0则违反了KKT条件
                 * 因为原本ri > 0对应的应该是alpha =0
                 */
                if ((yi[i] * Ei < -tol && a[i] < C) ||
                    (yi[i] * Ei > tol && a[i] > 0)) 
                {
                    /*
                     * ui*yi=1边界上的点 0 < a[i] < C
                     * 找MAX|E1 - E2|
                     */
                    int j;
                    /*
                     * boundAlpha表示x点处于边界上所对应的
                     * 拉格朗日乘子a的集合
                     */
                    if (boundAlpha.Count > 0)
                    {
                        //参照公式(5)
                        int maxK = -1;   //用于保存临时最大索引
                        double maxDeltaE = 0;  //用于保存临时最大差值--->|Ei-Ej|
                        //j = findMax(Ei, boundAlpha);
                        for (int ii = 0; ii < boundAlpha.Count; ii++)
                        {
                            int k = boundAlpha[ii];
                            if (k == i) continue;
                            double fxk = 0;
                            switch (k)
                            {
                                case 0://1
                                    { fxk = a[0] * yi[0] * k11 + a[1] * yi[1] * k21 + a[2] * yi[2] * k31 + b; }
                                    break;
                                case 1://2
                                    { fxk = a[0] * yi[0] * k12 + a[1] * yi[1] * k22 + a[2] * yi[2] * k32 + b; }
                                    break;
                                case 2://3
                                    { fxk = a[0] * yi[0] * k13 + a[1] * yi[1] * k23 + a[2] * yi[2] * k33 + b; }
                                    break;
                            }
                            double Ek = fxk - yi[k];
                            double deltaE = Math.Abs(Ei - Ek);
                            if (deltaE > maxDeltaE)
                            {
                                maxK = k;
                                maxDeltaE = deltaE;
                            }
                        }
                        j = maxK;//0--2
                    }
                    else
                    {
                        //如果边界上没有，就随便选一个j != i的aj
                        j = RandomSelect(i);//1--3,与0---2矛盾，这个函数已更正未0--2,已经全部更改为0---2
                    }
                    
                    //double Ej = getE(j);
                    double fxj = 0;
                    switch (j)
                    {
                        case 0://1
                            { fxj = a[0] * yi[0] * k11 + a[1] * yi[1] * k21 + a[2] * yi[2] * k31 + b; }
                            break;
                        case 1://2
                            { fxj = a[0] * yi[0] * k12 + a[1] * yi[1] * k22 + a[2] * yi[2] * k32 + b; }
                            break;
                        case 2://3
                            { fxj = a[0] * yi[0] * k13 + a[1] * yi[1] * k23 + a[2] * yi[2] * k33 + b; }
                            break;
                    }
                    double Ej = fxj - yi[j];
                    //保存当前的ai和aj
                    double oldAi = a[i];
                    double oldAj = a[j];
                    
                    /*
                     * 计算乘子的范围U, V
                     * 参考公式(4)
                     */
                    double L, H;
                    if (yi[i] != yi[j]) {
                        L = Math.Max(0, a[j] - a[i]);
                        H = Math.Min(C, C - a[i] + a[j]);
                    } else {
                        L = Math.Max(0, a[i] + a[j] - C);
                        H = Math.Min(0, a[i] + a[j]);
                    }
                    
                    
                    /*
                     * 如果eta等于0或者大于0 则表明a最优值应该在L或者U上
                     */
                    double eta = 2 * kk(i, j) - kk(i, i) - kk(j, j);//公式(3)
                    
                    if (eta >= 0)
                        continue;
                    
                    a[j] = a[j] - yi[j] * (Ei - Ej)/ eta;//公式(2)
                    if (0 < a[j] && a[j] < C)
                        boundAlpha.Add(j);
                    
                    if (a[j] < L) 
                        a[j] = L;
                    else if (a[j] > H) 
                        a[j] = H;
                    if (L == H) continue;

                    if (Math.Abs(a[j] - oldAj) < 1e-5)
                        continue;
                    a[i] = a[i] + yi[i] * yi[j] * (oldAj - a[j]);
                    if (0 < a[i] && a[i] < C)
                        boundAlpha.Add(i);
                    
                    /*
                     * 计算b1， b2
                     * 参照公式(6)
                     */
                    double b1 = b - Ei - yi[i] * (a[i] - oldAi) * kk(i, i) - yi[j] * (a[j] - oldAj) * kk(i, j);
                    double b2 = b - Ej - yi[i] * (a[i] - oldAi) * kk(i, j) - yi[j] * (a[j] - oldAj) * kk(j, j);
                    
                    if (0 < a[i] && a[i] < C)
                        b = b1;
                    else if (0 < a[j] && a[j] < C)
                        b = b2;
                    else 
                        b = (b1 + b2) / 2;
                    
                    num_changed_alphas = num_changed_alphas + 1;
                    double min = a[0] * a[0] * yi[0] * yi[0] * k11 + a[0] * a[1] * yi[0] * yi[1] * k12 + a[0] * a[2] * yi[0] * yi[2] * k13
                        + a[1] * a[0] * yi[1] * yi[0] * k21 + a[1] * a[1] * yi[1] * yi[1] * k22 + a[1] * a[2] * yi[1] * yi[2] * k23
                            + a[2] * a[0] * yi[2] * yi[0] * k31 + a[2] * a[1] * yi[2] * yi[1] * k32 + a[2] * a[2] * yi[2] * yi[2] * k33 
                                - a[0] - a[1] - a[2];
                }
            }
            if (num_changed_alphas == 0) {
                passes++;
            } else 
                passes = 0;
        }
        
    //    return new SVMModel(a, y, b);//返回a【】是支持向量，b是截距，w（i）=sum（1，m）a【i】y（i）*x（i），w(i)*x+b=0是分割超平面

        }

工业机器视觉设计和实现
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SVM算法C#编写代码
02-28
使用C#编写的SVM算法，低维数据规模，训练效果极佳，可供C++/C编写算法参考。 个人能力有限，如有问题，欢迎指正！
TPC-DS标准规范(3)
热门推荐
唐犁的博客
07-05 6万+
TPC-DS是一套决策支持系统测试基准，主要针对零售行业。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。国内目前相关的翻译文章较少。本文尝试对官网的TPC BENCHMARK DS Standard Specification（下称“原文”）进行翻译。翻译主要参照的是2017年发布的2.6.0版本。现在可以在 http://www.tpc.org/tpc_documents_current_versions/c
SVM算法
Ray_Songaaa的博客
05-25 360
SVM算法一、sklearn中的SVM1.准备一个简单二分类数据集2.实现svm，先使用一个比较大的C3.使用一个比较小的C，对比C取不同值的效果4.画出除了决策边界以外的两条跟支持向量相关的直线二、SVM中使用多项式特征1.svm解决非线性问题，先生成数据集2.给数据添加一些随机噪声三、高斯核函数1.通过高斯核函数映射来更加直观地理解整个映射的过程2.使用sklearn中封装的高斯核函数四、SVM解决回归问题 一、sklearn中的SVM 1.准备一个简单二分类数据集 import numpy as np
C#写一个支持向量机算法简单实例代码
最新发布
qq512929249的专栏
12-27 394
然后，我们使用Svm.SvmTrain方法训练了一个线性核函数的支持向量机模型。接下来，我们使用Svm.SvmPredict方法对测试数据进行预测，并输出预测结果。请注意，这只是一个简单的示例，实际应用中你可能需要处理更复杂的数据集和参数调整。另外，SVM.NET库还提供了其他功能和选项，你可以根据需要进行探索和使用。// 标签为1和-1的样本。首先，你需要安装一个支持向量机的库，比如SVM.NET。// 创建SVM分类器。
支持向量机算法与实现
lbf-523
10-18 1万+
文章目录1 算法思想2 算法步骤2.1 线性可分支持向量机2.2 SVM的二次凸函数和约束条件2.3 非线性类问题——核技巧（kernel trick）3 算法实现 1 算法思想 支持向量机(support vector machines) 是找到一个超平面(hyperplane)将数据划分为一类与其他类的一种二类分类模型，分离间隔最大而区别于感知机。 适用于： 数据可直接分为两类(采用erro...
C# 机器学习实战SVM多分类
zzr
06-01 3113
1：先用一下  Accord.MachineLearning(在NuGet下载即可)2：引用using Accord.MachineLearning.VectorMachines.Learning;using Accord.Statistics.Kernels;3：实例SVM多分类Code:double[][] inputs =            {                new do...
SVM模型的深入理解与运用（Python与C#实现）
m0_51330713的博客
11-06 2622
今天在准备SVM的一个答辩。于是重新深入理解了SVM的原理，从去工作的学长那里了解到现在的面试都已经开始询问SVM的数学原理，而SVM 的学习难点可能在于算法的理解和理论推导，而几个月前由于数学水平的不足而一知半解，现重新回顾，也是有了不一样的体验。并运用C#和Python分别对SVM完成了一定场景情况下的实现。 现在机器学习的缺口已经接近饱和，深度学习也只剩于百分之八到九左右，相对于近些年的深度学习，SVM作为传统的机器学习现在仍然具有很深远的指导意义。 下面是对于SVM的简单介绍： SVM 是 S
支持向量机模型（超详细，含案例代码）
JiaYu的博客
12-12 2626
支持向量机（Support Vector Machine，SVM）是一种在机器学习领域中用于分类和回归分析的强大算法。它是一种监督学习算法，其目标是在特征空间中找到一个超平面，将不同类别的数据点分开，同时最大化分类边界的间隔。SVM 的基本思想是找到能够有效划分数据的超平面，即在高维空间中的一个（d-1）维子空间，其中 d 是特征的数量。为了找到这个最佳的超平面，SVM 使用支持向量，即离超平面最近的一些数据点。这些支持向量决定了超平面的位置和方向。
【SVM支持向量机】实现和案例
可乐大牛的博客
04-28 2325
文章目录一、scitit-learn SVM API说明1.1 算法库概述分类算法1.2 scitit-learn SVM算法库概述回归算法1.3 scitit-learn SVM-OneClassSVM二、鸢尾花SVM特征分类三、不同SVM核函数效果比较 参考博客：这里 一、scitit-learn SVM API说明 1.1 算法库概述分类算法 svm.SVC API说明 参数说明： C: 误差项的惩罚系数，默认为1.0；一般为大于0的一个数字，C越大表示在训练过程中对于总误差的关注度越高，也就是
c#实现的svm完整工程，调用了c#版的libsvm
04-26
vs2010c#实现的svm完整工程，调用了c#版的libsvm，窗口界面，功能包括参数设置，加载训练/泛化/测试数据，保存训练好的svm模型，加载训练好的svm模型，输出泛化和测试结果。本人亲自开发的，可以直接运行。相信对大家有帮助。
c#实现SVM源码,内有简单使用Demo
04-17
c#实现SVM源码,内有简单使用Demo
c# winform写的SVM分类器
02-07
c#和halcon联合编程写的产品分类程序，需要安装halcon破解包否则会一直提示需要破解。
c#实现的基于svm的数字识别程序
05-20
c#实现的基于svm的数字识别程序，有完整的源代码。
libsvm-2.5程序代码导读.rar_libsvm matlab _smo算法_svm程序_向量机_支持向量
09-23
libsvm-2.5程序代码导读 这是一个中文版的针对支持向量机源程序libsvm-2.5代码导读文档,由个人经验所得, 为您看libsvm程序省了不少的力气!非常难得!
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
04-29
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
支持向量机SVM算法Python实现代码和应用.zip
04-03
支持向量机SVM算法Python实现代码和应用.zip
Matlab实现基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法（Matlab完整程序和数据）
07-30
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法，输出为选择的特征序号（Matlab完整程序和数据） Chinese: Options：可用的选项即表示的涵义如下 　-s svm类型：SVM设置类型(默认0) 　0 -- C-SVC 　1 --v...
支持向量机代码实现_支持向量机SVM及python实现
06-06
好的，下面是支持向量机SVM的Python实现代码： ```python # 导入必要的库 import numpy as np from sklearn import datasets from sklearn.pipeline import Pipeline from sklearn.preprocessing import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值