机器学习算法校招笔试面试题集

BAT机器学习面试1000题系列

https://blog.csdn.net/sinat_35512245/article/details/78796328

.L1和L2的区别。

L1范数（L1 norm）是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。 
比如 向量A=[1，-1，3]， 那么A的L1范数为 |1|+|-1|+|3|. 
简单总结一下就是： 
L1范数: 为x向量各个元素绝对值之和。 
L2范数: 为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或Frobenius范数

Lp范数: 为x向量各个元素绝对值p次方和的1/p次方. 
在支持向量机学习过程中，L1范数实际是一种对于成本函数求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化，从而方便人类提取特征。 
L1范数可以使权值稀疏，方便特征提取。 
L2范数可以防止过拟合，提升模型的泛化能力。
 

LR和SVM的联系与区别？

@朝阳在望，联系： 
1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 
2、两个方法都可以增加不同的正则化项，如L1、L2等等。所以在很多实验中，两种算法的结果是很接近的。 
区别： 
1、LR是参数模型，SVM是非参数模型。 
2、从目标函数来看，区别在于逻辑回归采用的是Logistical Loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。 
3、SVM的处理方法是只考虑Support Vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。 
4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。 
5、Logic 能做的 SVM能做，但可能在准确率上有问题，SVM能做的Logic有的做不了。
 

GBDT和XGBoost的区别是什么？

@Xijun LI：XGBoost类似于GBDT的优化版，不论是精度还是效率上都有了提升。与GBDT相比，具体的优点有： 
1.损失函数是用泰勒展式二项逼近，而不是像GBDT里的就是一阶导数； 
2.对树的结构进行了正则化约束，防止模型过度复杂，降低了过拟合的可能性； 
3.节点分裂的方式不同，GBDT是用的基尼系数，XGBoost是经过优化推导后的。

最大似然估计原理

xgboost原理

https://blog.csdn.net/github_38414650/article/details/76061893

GBDT和随机森林的区别

三，随机森林和GBDT的区别：

随机森林采用的bagging思想，而GBDT采用的boosting思想。这两种方法都是Bootstrap思想的应用，Bootstrap是一种有放回的抽样方法思想。虽然都是有放回的抽样，但二者的区别在于：Bagging采用有放回的均匀取样，而Boosting根据错误率来取样（Boosting初始化时对每一个训练样例赋相等的权重1／n，然后用该算法对训练集训练t轮，每次训练后，对训练失败的样例赋以较大的权重），因此Boosting的分类精度要优于Bagging。Bagging的训练集的选择是随机的，各训练集之间相互独立，弱分类器可并行，而Boosting的训练集的选择与前一轮的学习结果有关，是串行的。
组成随机森林的树可以是分类树，也可以是回归树；而GBDT只能由回归树组成。
组成随机森林的树可以并行生成；而GBDT只能是串行生成。
对于最终的输出结果而言，随机森林采用多数投票等；而GBDT则是将所有结果累加起来，或者加权累加起来。
随机森林对异常值不敏感；GBDT对异常值非常敏感。
随机森林对训练集一视同仁；GBDT是基于权值的弱分类器的集成。
随机森林是通过减少模型方差提高性能；GBDT是通过减少模型偏差提高性能

https://blog.csdn.net/login_sonata/article/details/73929426

bigo

逻辑回归特征离散化优点 特征离散化方法

什么是过拟合  过拟合解决

参数估计

分奖金

二叉树每一层的最大值

有一个数在数据组中出现次数超过一半 最小复杂度找出来

n方矩阵 顺时针排列

hive join map reduce阶段 过程 

hive TXT文件建表 国家省城市 

广告渠道Abc 广告订单成本 123 广告收益 efg 假设最大成本x 求满足的最大收益

 

泛化误差Bias(偏差)，Error(误差)，Variance(方差)及CV(交叉验证)

Error = Bias^2 + Variance+Noise

• 什么是Bias(偏差)

Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力

---

• 什么是Variance(方差)

Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。

---

• 什么是Noise(噪声)

这就简单了，就不是你想要的真正数据，你可以想象为来破坏你实验的元凶和造成你可能过拟合的原因之一，至于为什么是过拟合的原因，因为模型过度追求Low Bias会导致训练过度，对测试集判断表现优秀，导致噪声点也被拟合进去了

作者：mrlevo520
链接：https://www.jianshu.com/p/8d01ac406b40
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

 

2，逻辑回归多重共线性的解决办法

https://blog.csdn.net/nieson2012/article/details/48980491

3 判别模型，生成模型，

https://blog.csdn.net/haolexiao/article/details/70217607

l1,l2正则l1，l2正则

4，过拟合和解决办法

http://lib.csdn.net/article/machinelearning/33798

5，逻辑回归特征离散化优点，特征离散化方法

https://blog.csdn.net/u010358304/article/details/80693541

6，参数估计方法及区别

https://blog.csdn.net/ch1209498273/article/details/78313859