常见的机器学习面试题总结

1.比较下LR与SVM这两个算法

相同点

第一，LR 和 SVM 都是分类算法。

第二，如果不考虑核函数，LR 和 SVM 都是线性分类算法，也就是说他们的分类决策面都是线性的。

第三，LR 和 SVM 都是监督学习算法。第四，LR 和 SVM 都是判别模型。

不同点

第一，本质上是其 loss function 不同。

不同的 loss function 代表了不同的假设前提，也就代表了不同的分类原理LR 方法基于概率理论，假设样本为 0 或者 1 的概率可以用 sigmoid 函数来表示，然后通过极大似然估计的方法估计出参数的值，或者从信息论的角度来看，其是让模型产生的分布P(Y|X)P(Y|X)尽可能接近训练数据的分布，相当于最小化 KL 距离【因为 KL 距离展开后， 后一项为常数，剩下的一项就是 cross entropy】。

支持向量机基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分类面 。

第二，支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用）。

影响 SVM 决策面的样本点只有少数的结构支持向量，当在支持向量外添加或减少任何样本点对分类决策面没有任何影响；而在 LR 中，每个样本点都会影响决策面的结果。

第三，在解决非线性问题时，支持向量机采用核函数的机制，而 LR 通常不采用核函数的方法。

在计算决策面时，SVM 算法里只有少数几个代表支持向量的样本参与了计算，也就是只有少数几个样本需要参与核计算（即 kernal machine 解的系数是稀疏的）。然而，LR 算法里，每个样本点都必须参与决策面的计算过程，也就是说，假设我们在 LR 里也运用核函数的原理，那么每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。所以，在具体应用时，LR 很少运用核函数机制。

第四，线性 SVM 依赖数据表达的距离测度，所以需要对数据先做 normalization，LR 不受其影响。

第五，SVM 自带结构风险最小化，LR 则是经验风险最小化

因为 SVM 本身就是优化 1/(2*||w||^2)最小化的，所以其优化的目标函数本身就含有结构风险最小化，所以不需要加正则项

而 LR 不加正则化的时候，其优化的目标是经验风险最小化，所以最后需要加入正则化，增强模型的泛化能力。

2.对比欧氏距离和曼哈顿距离。

欧氏距离，最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中，如点 $x=(x_1,...,x_n)$ 和 $y=(y_1,...,y_n)$ 之间的距离为：
$$d(x,y):=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2+\cdot \cdot \cdot }$$