第二章模型评估

模型评估主要分为：在线评估与离线评估。
评估要点：准确率（分类正确的个体占总样本个体的比例），精确率（分类正确的正样本个数占分类器判为正样本的样本个数的比例），召回率（预测为正实际为正的样本占所有为正的个体总数比例），均方根误差
评估模型不要局限于一组指标，可以采取一组互补的指标去评估模型。
准确率的局限性
当样本中类别占比非常不均衡时，占比大的类别往往成了影响准确率的主要因素。模型的整体分类性能是综合考虑所有类型，可能很好，但是在某种类别的样本判别上可能并不是最好的。

精确率与召回率的权衡
需要使用P-R曲线进行权衡，横坐标为召回率，纵坐标为精确率

平方根误差的意外
方差开根号即为此。一般情况可以很好的反应模型预测值与真实值的偏离程度。但是部分离群点会导致RMSE变差。
解决办法是认为这些离群点为噪声，在数据预处理的时候就过滤掉。
或者对离群点产生的机制建模进原模型。
或者是找一个更合适的指标评估该模型。

ROC曲线：receiver operating characteristic cure 其横坐标为假阳性（实际为负，判别为正）纵坐标为真阳性
AUC是指ROC曲线下的面积大小。AUC越大，分类性能越好。

为什么在有些场景中要使用余弦相似度而不是欧氏距离
余弦相似度更多体现的是方向上的差异，而欧氏距离体现的是数值上的绝对差异
距离是指可以让三条距离公理（正定性，对称性，三角不等式）成立的实数，而余弦距离不满足第三条要求，此类的还有KL距离（相对熵）

模型评估过程总的验证方法及其优缺点

如何降低过拟合与欠拟合的缺点
过拟合：数据样本数量，降低模型复杂度，正则化，集成学习方法（将多个模型集成到一起）
欠拟合：添加新特征（因子分解机，梯度提升决策树，deep-crossing），增加模型复杂度，减小正则化系数

ROC与P-R曲线有什么特点
P-R曲线是precision-recall曲线，权衡的是精确率与召回率
ROC相比于POC，图像曲线更为稳定，即使正负样本的分布发生变化，它也不会产生剧烈变化（P-R曲线），不过P-R曲线更能直观反映其性能

余弦距离是否是一个严格定义的距离
余弦距离是指1-余弦相似度。其中余弦相似度=cosA.B/||A||2||B||2,取值为【-1，1】

超参数调优：网格搜索，随机搜索，贝叶斯优化等。