数据挖掘常见面试题(持续更新中)

1、你理解什么是数据挖掘？

数据挖掘就是由数据准备，数据挖掘和对结果的解释评估三部分组成。数据准备包括数据选取，数据预处理和数据变化。数据挖掘部分包括确定挖掘的任务或目的，选择挖掘算法。最后将结果可视化或者转化为易于理解的形式。

2、为什么会产生过拟合，有哪些方法可以预防或克服过拟合？(常问问题)

所谓过拟合（Overfit），是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。

过拟合产生的原因：出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。

解决方法：

1、 增大数据量

2、 减少feature个数（人工定义留多少个feature或者算法选取这些feature）

3、 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）

4、 交叉验证，重采样评价模型效能，K折交叉验证

5、 保留一个验证数据集检验

几乎所有集成模型都是为了防止过拟合的。

3、样本不平衡处理方法？（好多次）

a、负样本少，就复制到一定比例

b、或者把正样本删除一部分

c、分段逐一训练（举例：正样本10000，负样本1000，将正样本随机分成10份，每份1000，然后拿着负样本的1000与正样本的每一份进行训练，最后进行融合选择）

d、模型参数调权重（模型里面有个参数可以调整样本权重）

e、交叉验证

f、根据样本随机构造新的样本

4、高维海量数据搜索

KNN(维度20以下)

欧式距离就是指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离，所以它实现的是绝对距离。

余弦相似度是通过计算两个向量的夹角余弦值来评估他们的相似度。

Jaccard相似度是用于比较有限样本集之间的相似性与差异性，其中Jaccard系数值越大，样本相似度越高。

Pearson相似度是余弦相似度的升级版，它把每个向量都中心化了，即每个向量会