LSSVM
写在前面
最小二乘支持向量机,咋一听是一个非常复杂的概念,但是其实拆开来,就比较容易理解了,这里我们先把支持向量机和最小二乘两个概念拆了开讲。
起点
一次旅行中,你在火车上偶遇一对夫妇,夫人叫最小二乘法,丈夫叫做支持向量机。在与他们的聊天中你了解到,他们不仅仅是夫妻,还是工作上的伙伴。
你很好奇他们之间的亲密关系是怎样与工作关系并存的。
矛盾发生了
你去找他们的一些亲密好友,想要了解他们的状况。调查后,你发现支持向量机,尽然同时和很多人同时保持了亲密的关系,这里面大部分都跟最小二乘认识,并且交流频繁,这让你对支持向量机产生了疑问。
究竟支持向量机,是怎样的一个机?
于是你走进维基大厦,查到了支持向量机的人生履历。
描述中提到,支持向量机算法是一种通过将核技巧
应用于最大间隔超平面来创建非线性分类器的方法。
关系开始复杂了,第三者出现了。
什么是核技巧,过去几十年的学习讯息,在你脑中流转,核技巧,核
技巧,必然是十分核心的东西!
第三者 - 弗拉基米尔 · 核
我们知道,核
并不是分离与支持向量机的,而是在支持向量机一出生就被构建在身体内了,可以说是一种包含关系。
那么,核
是什么?核
从哪里来?核
往哪里去?
于是,你决定先从核
的身份信息查起,在维基大厦呆了一整天,终于查到了核
资料。
听起来有点不那么明朗,这究竟是怎么生效的?为什么做映射?什么是映射?
男主 - 弗拉基米尔 · 亚历克赛 · 机
支持向量机究竟是干什么的?我们先看看,现在的它和最小二乘法是怎么为你服务的。
比如,它们可以用于推断你的动机。比如有天你要出去买一样东西,但是忘记了东西叫什么?但是你记住了这个东西的一些特征,比如他是乳白色的、浑浊的、具有丁达尔效应的非牛顿流体,而且从某种意义上而言,是一种营养物质。(🤭)
于是你告诉向量机,你不知道要买什么,但是你要买的东西,具有以下的特征,乳白色、浑浊、丁达尔效应、非牛顿流体、营养物质。
这里我们看到了支持向量
机能够算命的潜力,它能够根据给定特征
给出结果。等等,我们知道支持向量机中的向量
和我们给出的特征
其实可能本质上是一个东西,及特征向量
。
于是,我们似乎发现了支持向量机的工作内容,他就是根据我们给出的特征向量
推算出我们希望他们推算的结果的。
他是怎么推算的呢?特征向量究竟是个什么东西?
特征向量
要了解特征向量的是什么,可能要先知道它怎么来的。可以看下我们给出的特征,乳白色、浑浊、丁达尔效应、非牛顿流体、营养物质。看起来非常特征
,但是并不向量
。
特征向量
描述起来是可以描述特征的一种向量
。那么我们的问题就是如何把特征
描述成向量
就可以了。
于是我们得到一组神秘代码,也就是[1, 2, 0, 1, 8]。这就是特征向量
了么?其实不是,我们真是的对于特征的数字描述可能更加复杂一点,需要参考一定的规则和经验,定义数值的范围和分布。但是,整体来说,基本上就是用于描述特征的。是我们可以定义的。
男主的日常
我们知道特征向量后,需要了解或者探究的就是,男主,弗拉基米尔·亚历克赛·机是平常是怎么工作的,又是怎么牵扯了这么多复杂的关系的。
我们就跟随特征向量一起去看看男主都做了什么?
整个流程看下来,可以看出,支持向量机大概是一个中层领导
的角色,然后核
就像是专属与它的秘书
或者办事员
的角色。
除了常用的交流,我们可能主要做的三件事情,一个是填表、还有就是核的分析以及支持向量机的分析。
三者是相辅相成的。
支持向量机,把自己的特征
记录到表中,核读了表的数据,给出分析报告
,支持向量机通过分析报告
给出自己看报告经验得到的结论
。
这里看出我们的转换链路是
所以,分析报告
是什么?其实,跟特征向量一样,也是向量形式的一组数字。只是可能输入的变量做些处理,这个处理过程我们可以打包成一个函数P
,而我们要做的就是让特征向量
变得更加有效。
其实,不只是弗拉基米尔先生,目前绝大部分的机器学习算法,都在用自己的方法或者过程,让特征向量,变得更加有效。
女主 - 拉普拉斯 · 乘
我们的女主的背景就相当显赫了,起源于1801年,由当时的追星
人们发现。这些先按下不表。单纯从追星可以看出,这是一个追逐的过程,在天上,我们追的是行星
,在纸上,我们追着的是数字
。而拉普拉斯小姐,就是能够精确追到你渴望的行星
或者数字
的人。
所以,拉普拉斯小姐究竟是做什么的?我们看到整理下已经了解的资料,做个简单的推理,首先它可以用来追星
,所谓追星
,大概就是比平常人看到更多的星
讯息,也就是,相对于已知的
猜测得到更多的未知的
。
我们如果把观测流程放到坐标轴上,其实已知的,就是我们每一次观测的星特征
,根据我们既有的经验,特征是可以映射为变量
的。
这里其实在追星过程中,我们还有一个特别的特征,时间
,而追星就是根据时间
特征得到一个对应的空间
特征。
而拉普拉斯小姐,就是负责这个过程中的,实现优化
的一个过程,还记得我们提到的函数P
,其实拉普拉斯小姐,主要是跟P
交流的。
这里可以看到,拉普拉斯小姐做的事情,是告诉函数P
该如何配置自己的引擎
,才能更好的追上星
。
其实,这里我们看到的就是两个信息,就是拉普拉斯小姐拿着函数P的监测表和内部状态来决定怎么配置函数P。像是一个顾问
的角色。
而函数P
就是一种映射
方式,还记得我们之前提过的,弗拉基米尔·核,本质上来讲,也是一种映射
,所以拉普拉斯小姐就是弗拉基米尔·机先生聘请的顾问,用于给办事员提供业务优化建议的么?看起来是的。
拉普拉斯小姐与弗拉米基尔先生
整体来说,拉普拉斯小姐的作用就是用于优化函数
,更加通俗些将,最小二乘法的作用就是帮助你设计好的过程能够更加接近你需要的结果输出。
而弗拉基米尔先生(支持向量机),其实就是为了提供给你一种对你输入的特征向量
的过程一种预测过程。
那么两者之间,究竟是怎么合作的呢?我们大概来看一下。
其中,我们通过核技巧来让过程更加有效,而我们其实还有一个发现映射方程的过程, 这个过程其实就是最小二乘可以发挥的过程,用于优化映射方程的参数的。
到这里最小二乘的概念,大概是这个状态了。你已经精疲力尽,仿佛看到了答案,但是又满是猜想?
问题多多,你决定把这些交给以后。让时间荡漾着历史的长河,将知识变作那A2O工艺中的PN值,慢慢随着氧化沟的处理,在沉淀池慢慢累积。
后记
拉普拉斯小姐和弗拉基米尔先生的故事,一直发生着,就像成年人的世界里,从来没有真正的对错,有的只是爱恨交织小的利益与制衡,核小姐也会一直存在。