2020-实习生面试题-3

2020-实习生面试题-3

深度学习算法

机器学习常用知识点：https://github.com/NLP-LOVE/ML-NLP

1、什么是LR（逻辑回归）？

Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。

特性：（1）可用于概率预测、也可用于分类；（2）只能用于线性问题；（3）各特征之间不需要满足条件独立假设，但各个特征的贡献独立计算。
LR模型

2、LR与线性回归的区别与联系？

逻辑回归的模型本质上是一个线性回归模型，逻辑回归都是以线性回归为理论支持的。但线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

3、LR与SVM的区别与联系？

联系：
1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）。
2、两个方法都可以增加不同的正则化项，如L1、L2等等。所以在很多实验中，两种算法的结果是很接近的。

区别：
1、LR是参数模型，SVM是非参数模型。
2、从目标函数来看，逻辑回归采用的是Logistical Loss，SVM采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。
3、SVM的处理方法是只考虑支持向量，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。
4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算。
5、Logic能做的SVM能做，但可能在准确率上有问题，SVM能做的Logic有的做不了。

4、LR和随机森林区别？

随机森林等树算法都是非线性的，而LR是线性的。LR更侧重全局优化，而树模型主要是局部的优化。