面经1-小米-所有考点都在统计学习书中

1.K近邻算法（KNN）

以某个距离度量进行衡量，选出与输入x最近的k个点，然后对k个点进行多数投票，决定输入x的类别，本质上这是一种分类算法， 其关键要素有3个：k值的选择、距离度量以及分类决策的规则（多数投票法）

2.朴素贝叶斯（naive bayes）

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法
https://baike.baidu.com/item/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF/4925905?fr=aladdin

3.L0范数

L0范数严格意义上并不是范数，其表示向量中非0元素的个数
https://www.jianshu.com/p/bf860ad177dd

4.排序过程

快排、插排、选排、冒泡、归并排序、堆排

5.哈夫曼树构造过程

6.boosting？bagging？方差？偏差？

提升方法（boosting）是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。
https://www.cnblogs.com/linyuanzhou/p/5019166.html

Bagging是通过结合几个模型降低泛化误差的技术。主要想法是分别训练几个不同的模型，然后让所有模型表决测试样例的输出。 这是机器学习中常规策略的一个例子，被称为模型平均（modelaveraging）。采用这种策略的技术被称为集成方法。Bagging对样本重采样（有放回），对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance

bagging是减少variance，而boosting是减少bias（why）

https://blog.csdn.net/anshuai_aw1/article/details/82911612?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link

偏差： Bias，指的是模型预测值偏离真实值的程度；
方差： Variance，值模型预测值的离散程度，比如两条几乎相同的样本，但是预测值可能差很多；

https://www.zhihu.com/question/20448464

7.决策树——ID3、C4.5、CART、GBDT

ID3：信息增益
C4.5 信息增益比
CART：采用基尼指数进行特征选择
CART-衍生GBDT

8.最大熵模型

9.隐马尔科夫模型（HMM）

10 条件随机场（CRF）

11 随机森林-RF（Random Forest）

12 协方差计算