数据挖掘-鄙视问答题、面试题（整理）

以下的一些题目一般都出现在笔试题中的问答题中，个人从网上整理，其中发现大多数企业的问答题基本都是从中进行挑选的。

数据挖掘相关

1. 异常值是指什么？请列举1种识别连续型变量异常值的方法？
   　　异常值（Outlier） 是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。
   　　Grubbs’ test 是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。
   　　未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验

2. 为何进行变量筛选？变量筛选方法有哪些？
   　　当所研究的问题涉及较多的自变量时，很难想象事先选定的全部自变量对因变量的影响都有显著性意义；也不敢保证全部自变量之间是相互独立的。剔除那些贡献小和与其他自变量有密切关系的自变量是为了可以得到更加精炼和泛化性更强的模型。
   　　过滤式：这种方法的关键就是找到一种能度量特征重要性的方法，比如pearson相关系数，信息论理论中的互信息等。
   　　包裹式：以回归为例子向前筛选，向后筛选，逐步筛选。
   　　嵌入式：嵌入式方法将特征选择融合在模型训练的过程中，比如决策树在分枝的过程中，就是使用的嵌入式特征选择方法，其内在还是根据某个度量指标对特征进行排序。
   　　特征的变换组合：总得来说可以是一些降维方法.一些学习资料：http://blog.csdn.net/xiaowei_cqu/article/details/7522368/和 http://blog.csdn.net/bryan__/article/details/52488316和http://www.tuicool.com/articles/ieUvaq

3. 正则化的作用是什么？
   　　正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识(如一般的l-norm先验，表示原问题更可能是比较简单的，这样的优化倾向于产生参数值量级小的解，一般对应于稀疏参数的平滑解)。

4. 除了主成分分析外你还使用其它数据降维技术吗？你怎么想逐步回归？你熟悉的逐步回归技术有哪些？什么时候完整的数据要比降维的数据或者样本好？

5. 什么是：协同过滤、n-grams, map reduce、余弦距离？

6. 你如何证明你带来的算法改进是真的有效的与不做任何改变相比？你对A/B测试熟吗？

大数据相关

1. （在内存满足的情况下）你认为是100个小的哈希表好还是一个大的哈希表，对于内在或者运行速度来说？对于数据库分析的评价？
2. 什么是哈希表碰撞攻击？怎么避免？发生的频率是多少？
3. 如何你打算发100万的营销活动邮件。你怎么去优化发送？你怎么优化反应率？能把这二个优化份开吗？
4. 如果有几个客户查询ORACLE数据库的效率很低。为什么？你做什么可以提高速度10倍以上，同时可以更好处理大数量输出？
5. 如何判别mapreduce过程有好的负载均衡？什么是负载均衡？
6. 请举例说明mapreduce是如何工作的？在什么应用场景下工作的很好？云的安全问题有哪些？

数据分析相关

1. 是假阳性好还是假阴性好？
2. 你熟悉软件生命周期吗？及IT项目的生命周期，从收入需求到项目维护？
3. 如何定义与衡量一个指标的预测能力？
4. 你熟悉极值理论、蒙特卡罗逻辑或者其它数理统计方法以正确的评估一个稀疏事件的发生概率？
5. 什么是敏感性分析？拥有更低的敏感性（也就是说更好的强壮性）和低的预测能力还是正好相反好？你如何使用交叉验证？你对于在数据集中插入噪声数据从而来检验模型的敏感性的想法如何看？
6. 普通线性回归模型的缺陷是什么？你知道的其它回归模型吗？
7. 你如何建议一个非参数置信区间？
8. 你熟悉价格优化、价格弹性、存货管理、竞争智能吗？分别给案例。
9. 什么是效率曲线？他们的缺陷是什么，你如何克服这些缺陷？
10. 你知道使用在统计或者计算科学中的“经验法则”吗？或者在商业分析中。