2019年10月_guofei_fly

原创 SVM算法（九）将SVM推广到回归问题

如前文SVM算法的正则化损失函数视角中提及的，SVM可以理解为“广义线性损失函数+L2正则化”在损失函数为Hinge Loss下特例。即min⁡λNw2+1N∑i=1Nerr(yi,g(wxi))\min \frac{\lambda}{N} w^2+\frac{1}{N}\sum_{i=1}^Nerr(y_i,g(wx_i))minNλw2+N1i=1∑Nerr(yi,g(wxi))式中...

2019-10-27 18:20:29 1092

原创 SVM算法（八）将SVM推广到多分类问题

SVM算法本质上是基于正、负样本推导得到的二分类模型。通过一些手段，可将其推广到多分类问题中：一、使用多类SVM损失函数在原始的二分类SVM算法中，模型可看做对Hinge损失函数的L2正则化，即：min⁡λNw2+∑i=0Nmax(0,1−yi(wxi+b))\min \frac{\lambda}{N} w^2+\sum_{i=0}^Nmax(0, 1-y_i(wx_i+b))minNλw...

2019-10-26 14:16:47 1357

原创 SVM算法（七）将SVM推广到分类概率问题

根据前文对SVM算法的推导，可以给出样本点的预测值：sign(∑i=1nαiyiK(xi,x)+b)sign(\sum\limits_{i=1}^n \alpha_iy_iK(x_i,x)+b)sign(i=1∑nαiyiK(xi,x)+b)但一些情况下，我们不仅希望模型能输出表示分类的符号，也希望能得到某个分类的置信概率，正如逻辑回归得到的P(y∣x)=11+e−(wx+b)P(y|x...

2019-10-26 11:21:15 1926

原创 SVM算法（六）SVM算法的正则化损失函数视角

一、用“损失函数+正则项”理解SVM最优化目标如近似线性可分问题所述，SVM算法的目标是求得如下目标函数的最小值：min⁡12w2+C∑i=1nξis.t. yi(wxi+b)≥1−ξiξi≥0\begin{aligned}&\min\frac{1}{2}w^2+C\sum\limits_{i=1}^n \xi_i \\&s.t.\space \space ...

2019-10-26 09:21:52 1886

原创 SVM算法（五）SMO算法

根据前文SVM算法（四）接近线性可分的SVM求解，通过软边界的设定以及拉格朗日函数对偶问题的求解，同时引入核函数，最终的分隔面求解问题变成了如下拉格朗日乘子α\alphaα的二次规划问题：min⁡α12∑i=1n∑j=1nαiαjyiyjK(xi,xj)−∑i=1nαis.t.0≤α≤C∑i=1nαiyi=0\begin{aligned}&\min_\alpha \frac{1}{2}\...

2019-10-25 22:17:24 526

原创 SVM算法（四）接近线性可分的SVM求解

一、接近线性可分的SVM问题的提出在前文SVM算法（二）线性可分的SVM求解中，详细推导了对线性可分数据的超平面划分原理，同时也抛出了一个问题：若数据线性不可分，该如何处理？本文将该问题进行一定程度的弱化，若数据接近线性可分，该如何求得合适的分隔面？一种直观上的想法是：尽量保证原始线性可分数据的正确性，对分隔错误的样本点进行惩罚，即：min⁡12w2+C[[yi(wxi+b)<1]]s...

2019-10-23 16:55:23 544

在前文SVM算法（二）线性可分的SVM求解中，详细推导了对线性可分数据的超平面划分原理，同时也抛出了一个问题：若数据非线性，该如何处理？这也是本文需要解决的问题。一、非线性特征的线性求解在线性模型wx+b\boldsymbol {wx+b}wx+b中，可对原始线性特征x\boldsymbol xx进行各类非线性转换ϕ(x)=xixj,exi,xi2\boldsymbol {\phi(x)}=x...

2019-10-22 19:39:29 1408

原创 matplotlib的中文设置

Python3环境下的matplotlib默认不支持中文字体，其原因为：（1）matplotlib的内置字体库中没有对应中文字体（2）matplotlib的配置文件中默认的字体非中文字体具体的解决方案包括如下步骤：步骤一：查找matplotlib配置文件目录matplotlib 从配置文件 matplotlibrc 中读取配置，字体相关内容也在其中。matplotlib 依次在多个位置寻...

2019-10-14 10:58:21 634

原创 SVM算法（二）线性可分的SVM求解

回忆前文提到的感知机模型：对于线性可分的二分类问题，通过不断迭代错误分类样本点，直至最终的分割面。感知机是错误样本驱动的分类器，显然对于线性可分的数据，这样的分类器有无数个（见下图），那究竟哪一个更好呢？直觉上，在下图给出的三个分割面上，绿色的分割面更佳。因为其离正、负样本更远，这意味着模型更能够忍受数据误差（测量或采样等导致），即模型更健壮。而这就是线性可分的SVM推导的切入点。一、线性...

2019-10-13 14:47:29 2000

原创 SVM算法（一）预备知识

SVM（支持向量机）是一种强大的机器学习算法，被广泛用于分类和回归问题。本系列将简要介绍SVM的推导过程和基本应用。考虑到SVM涉及到繁杂的数学推导，第一篇先介绍下前置的数学知识。一、感知机感知机是SVM的基础，也蕴含了早期神经网络NN的思想。感知机是一种用于求解二分类的判别式线性模型，其假设输入数据{(x1,y1),(x2,y2),...(xi,yi)...(xN,yN)}\{(x_1,y...

2019-10-07 16:38:29 362

原创 PCA降维（一）基础理论

PCA（主成分分析，principal components analysis)是最常用的无监督式降维方法，其核心思想是寻找一组低维空间的正交基来投影原始空间数据，在保证尽可能保留原始数据信息的同时，降低数据特征空间。一、几何解释在二维几何空间内来理解PCA的大致思路：即对于二维空间内的一堆散点，寻找一条直线，使得各点在直线上进行表示的某种度量能够尽可能的体现散点在二维空间内的分布情况。推广...

2019-10-06 15:10:36 543

guofei_fly的博客

原创机器学习中常见的损失函数