李宏毅机器学习_SVM_支持向量机_5

square loss

sigmoid+square loss

sigmoid+square loss

通过不断的尝试定义出来的而已！！！！！！！！，方法和其他的算法一样，只是损失函数不一样而已，另外还有核函数

计算方法一样可以通过梯度下降的方法得出来

这个就是定义的函数，其实是数学推导过来的，其中一个就是松弛因子，求最小值的时候，上下这个两个是等价的

权重参数可以表示成数据的线性表示，本质上还是数学

由推导出来的结果，反推出里面蕴含的核函数技巧！

二维多项式的

高斯核函数的

逻辑回归激励函数的等等

SVM核函数的核心就是，通过核函数的表达式把低维度映射到高纬度，然后问题就解决了或许是非线性变成了线性，然而函数的计算还是在映射之前的低纬度完成的。
不用关系映射到高纬度的向量具体是怎么样的，直接在低纬度点乘出结果就好了，至于哪些可以点乘出结果，有相关的函数定义的。

离群值(outlier)，也称逸出值，是指在数据中有一个或几个数值与其他数值相比差异较大。chanwennt准则规定，如果一个数值偏离观测平均值的概率小于等于1/(2n)，则该数据应当舍弃（其中n为观察例数，概率可以根据数据的分布进行估计）。
当出现离群值的时候，要慎重处理，要将专业知识和统计学方法结合起来，首先应认真检查原始数据，看能否从专业上加以合理的解释，如数据存在逻辑错误而原始记录又确实如此，又无法在找到该观察对象进行核实，则只能将该观测值删除。

outlier 英[ˈaʊtˌlaɪə]
美[ˈaʊtlaɪər]
n. 不住在工作地点的人；寄居外地者; 离开本体的东西；分离物; 门外汉；局外人;
[例句]Outlier data detection is an important part of data mining.
异常数据检测是数据挖掘研究的热点之一。

整个story可以这么说：那些搞svm，ridge regression的人，发现自己的算法对数据集的效果不好，他们认为这可能是因为数据集线性不可分。另外他们发现他们搞出的式子里，出现的都是两个数据点的内积。他们想，我们要是把原始数据集映射到高维可能就线性可分啦，但是这可是内积啊，而且怎么找映射函数呢？这时候Mercer Theorem出现了，简直就是黑暗中的一缕阳光啊！好的，那就构造一个kernel function吧，根据Mercer Theorem，那些原始维度的内积转换到高维内积只需要把数据点带进核函数就ok啦。这不就简单了？结果在数据集上居然很好！！！然后这种方法就有很多时髦名称了。大家都follow么。

在我说的预测微博上热搜榜的任务中 真正的特征是关晓彤➕鹿晗 单纯的鹿晗或者关晓彤 都没办法上热搜榜 核方法是通过特征耦合 把这个规律找了出来

对，不一定非得是分类，其实就是给数据换一个表达方式，也许更好分，也许更美观，也许更直观，也许更复杂，也许更好发文章，也许可以用更漂亮的公式，也许更能忽悠审稿人。如果碰巧一个很复杂的问题，在某一个空间线性可解了，那就是大新闻了。而且可能那个具体的空间都不用找出来，只要能用来计算两个高维向量在“那个可能存在的空间”的内积就行。

我来给你个有触感的例子。假设我们的任务是要预测那些微博可以上微博热搜榜。有两个离散特征，一个代表某个微博里有“鹿晗”，一个代表某个微博里有“关晓彤”两个特征单独看热度都一般，此时我们用二阶多项式核方法：这个核函数可以把二维空间投射到三维空间，展开之后是：这样就把二维特征变成了三维，多了一维 ，代表着某条微博里鹿晗和关晓彤同时出现。结果大家都知道了，鹿晗关晓彤同时出现的那条微博超级火，把新浪服务器都挤爆了。<img 现实生活中有很多非线性非常强的特征 而核方法能够捕捉它们。

本质上就是线性代数的运算 x是一个vector,x1/x2/x3是一个矩阵，w没一个维度，都是所有数据同一维度的线性组合而已
大原则：
SVM损失函数不同，为何方便引入松弛因子，增加鲁棒性
SVM有做为了线性可分，把特征向量做特征转换的专门的核函数，这样转换后成高纬度后就可以线性可分，然后计算还是在低维度计算的
包括逻辑回归或者深度学习，本质上就是把低维度的特征通过一系列的转换到高纬度，线性可分后，然后直接划分即可。
目的都是为了线性可分，方便得出结果。