机器学习面试之SVM和LR的区别与联系

机器学习面试之SVM和LR的区别与联系

这篇文章属于集百家之长，汇总一下，方便准备面试的人复习，整理一下别的资料，让自己有个理解的过程。
对于没有什么统计知识背景的盆友，可能在看这篇文章有点麻烦，不过你可以就当混个眼熟。

从线性回归到逻辑回归

其实周老师已经写的很明白了（半年前我看这个的时候，边看还边骂，写的什么东西，一点也看不懂，周老师莫怪我，年少不懂事。我的经验总结下来就是查的资料多了，看的多了每次看都能领悟一点，之后就明白了，第二我觉得，学点统计和线性代数帮助你理解，毕竟很多公式看不懂很烦）下面对上面总结一下。

总结

给你一个样本数据，我们要预测一个模型出来，当我们有了新的数据的时候，这个模型能够实现预测。这里暂时讲的是线性回归，之后是会讲到逻辑回归的关系。那么我们怎么预测一个模型的好坏呢，如何进行调整呢，那么就用到了均方误差，让这个误差最小化。如何求解呢？就用到了最小二乘法。因为这是单个特征的，多个特征怎么表示？于是就有了接下来的矩阵表示法。之后又介绍了为啥要用In来表示，线性模型简单，但是富有变化，加ln形式发生了变化，还是线性回归，但实质上输入空间，和输出空间的非线性函数迎合。起到了讲线性回归模型的预测值与真实值标记联系起来的作用。接下来就开始讲和逻辑回归的关系。
大家注意分类任务和回归是不同的哦。

主要讲的就是我们想把离散的数据形成分类的标准，就需要搞个函数，但是单位阶越函数，是个不连续的函数，需要找一个连续的这种函数，于是就找到了sigmoid函数。

总结一下优点：
它是直接对分类可能性进行建模，无需实现假设数据分布，这样就避免了假设分布不准确所带来的问题，他不是仅预测出泪飙，而是可以得到近似的概率值预测，只对许多需利用概率辅助决策的任务很有用。此外，这个函数是任意阶可导的凸函数（数学知识，我也不懂），有很多的数学性质，现有的许多数值优化算法都可以直接用于求取最优解。

上面主要介绍了就是用那些方法进行求解。

线性支持向量机SVM

由于CSDN的沙雕系统，不能截图贴上，只能麻烦大家自行下载西瓜书找到对应页数，P121页。
这里提到了SVM的对偶问题是面试会问到的。

由于求解的问题是大间隔划分超平面所对应的模型，凸二次规划问题。
可以下面的公式使用拉格朗日乘子法（参考上面）可得到其对偶问题





书上的线性SVM讲的比较少，之后讲的都是核函数。主要看一下知乎大神这方面的讲解。线性SVM和LR的异同，SVM区别和联系，LR推导觉得西瓜书已经讲的很好了，参考一下下吧。
精讲支持向量机，SVM中的hinge-loss，一个大佬妹子的解读，写的很好
总结一下：