数据挖掘常见面试题

机器学习方面:

SVM

1、支撑平面-和支持向量交互的平面,分割平面---支持平面中间面也就是最优分类平面

2、SVM不是定义损失,而是定义支持向量之间的距离目标函数

3、正则化参数对支持向量数的影响

LR

1、LR的形式:h(x)=g(f(x)) 其中x为原数据,f(x)为线性/非线性回归得到的值,也叫判定边界 g()为Sigmod函数,最终h(x)输出的范围为(0,1)

LR对样本分布敏感

LR和朴素贝叶斯(NB)之间的区别

LR是loss最优化求出的 NB是跳过统计Loss最优,直接得出权重的   NB比LR多了一个条件独立假设  LR属于判别模型 NB是生成模型

在机器学习中,LR和SVM有什么区别?

两者都可以处理非线性的问题;LR和SVM最初都是针对二分类问题的,SVM最大化间隔平面,LR极大似然估计,SVM只能输出类别,不能输出概率,两者LOSS function 不同,LR的可解释性更强,SVM自带有约束的正则化

LR为什么用sigmod函数,这个函数有什么优点和缺点?为什么不用其他函数?

LR只能用于处理二分类,而Sigmod对于所有的输入,得到的输出接近0或者 1

Sigmod存在的问题,梯度消失、他的输出不是关于原点对称的导致收敛速度非常慢,计算非常耗时间

Tanh激活桉树存在的问题:梯度消失,计算耗时,但是其输出的是中心对称的

Relu:其输出不关于原点对称:反向传播时,输入的神经元小于0时,会有梯度消失问题,当x=0是,该点的梯度不存在(没有定义)

Relu问题:权重初始化不当,出事学习率设置的非常大

SVM原问题和对偶问题关系？

SVM对偶问题的获得方法：将原问题的目标函数L和约束条件构造拉格朗日函数，再对L中原参数和lambda、miu分别求导，并且三种导数都等于0；再将等于0的三个导数带入原目标函数中，即可获得对偶问题的目标函数

关系：原问题的最大值相对于对偶问题的最小值

KKT（Karysh-Kuhn-Tucker）条件有哪些，完整描述？

KKT条件是思考如何把约束优化转化为无约束优化à进而求约束条件的极值点

决策树过拟合哪些方法，前后剪枝

决策树对训练属性有很好的分类能力；但对位置的测试数据未必有好的分类能力，泛化能力弱，即发生过拟合

防止过拟合的方法：剪枝（把一些相关的属性归为一个大类，减少决策树的分叉）；随机森林

L1正则为什么可以把系数压缩成0，坐标回归的具体实现细节？

L1正则化可以实现稀疏（即截断），使训练得到的权重为0；

l1正则会产生稀疏解，即不相关的的特征对应的权重为0，就相当于降低了维度。但是l1的求解复杂度要高于l2,并且l1更为流行

正则化就是对loss进行惩罚（加了正则化项之后，使loss不可能为0,lambda越大惩罚越大-->lambda较小时，约束小，可能仍存在过拟合；太大时，使loss值集中于正则化的值上）

正则化使用方法：L1/L2/L1+L2

LR在特征较多时可以进行怎样的优化？-->L1正则有特征选择的作用

如果是离线的话，L1正则可以有稀疏解，batch大点应该也有帮助，在线的解决思路有ftrl,rds,robots,还有阿里的mlr。当然还可以用gbdt,fm,ffm做一些特性选择和组合应该也有效果。

机器学习里面的聚类和分类模型有哪些？

分类：LR、SVM、KNN、决策树、RandomForest、GBDT

回归：non-Linear regression、SVR（支持向量回归-->可用线性或高斯核（RBF））、随机森林

聚类：Kmeans、层次聚类、GMM（高斯混合模型）、谱聚类

聚类算法（可以作为监督学习中稀疏特征的处理）：Kmeans、层次聚类、GMM（高斯混合模型）

聚类算法唯一用到的信息是样本和样本之间的相似度。

评判聚类效果准则：高类间距，低类内距；高类内相似度，低类间相似度。

相似度与距离负相关。

图像之间的距离的度量是对每个像素操作，最后获得距离

正则化为什么能防止过拟合？

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声. 正则化则是对模型参数添加先验，使得模型复杂度较小，对于噪声的输入扰动相对较小。

正则化时，相当于是给模型参数w 添加了一个协方差为1/lambda 的零均值高斯分布先

验。对于lambda =0，也就是不添加正则化约束，则相当于参数的高斯先验分布有

着无穷大的协方差，那么这个先验约束则会非常弱，模型为了拟合所有的训练数

据，w可以变得任意大不稳定。lambda越大，表明先验的高斯协方差越小，模型

约稳定，相对的variance(方差)也越小。