机器学习常用目标函数、评价指标、Cost function等模型评估方法及sklearn实践

整理中。。。

模型评估：量化模型预测质量

有3种不同的API用于评估模型预测的质量：
Estimator评分方法：Estimators有一种score方法可以为他们设计要解决的问题提供默认评估标准。本页未对此进行讨论，但在每个估算工具的文档中都有讨论。
评分参数：使用交叉验证（例如 model_selection.cross_val_score和 model_selection.GridSearchCV）的模型评估工具 依赖于内部评分策略。这将在评分参数：定义模型评估规则一节中讨论。
度量功能：该metrics模块实现了针对特定目的评估预测误差的功能。这些指标详细介绍了分类指标， 多标签排名指标，回归指标和 群集指标。
最后，虚拟估计器可用于获得随机预测的那些度量的基线值。

回归模型的评价指标

sklearn.metrics模块实现目标函数、评价指标、Cost function及来衡量回归性能。他们有些已得到增强，以处理多输出的情况下：mean_squared_error， mean_absolute_error，explained_variance_score和 r2_score。

这些函数有一个multioutput关键字参数，用于指定每个目标的得分或损失的平均值。默认值为’uniform_average’，指定输出的均匀加权平均值。如果传递了一个ndarray形状(n_outputs,)，则其条目将被解释为权重，并返回相应的加权平均值。如果multioutputIS 'raw_values’被指定，则所有未改变的个人得分或损失将在形状的阵列返回 (n_outputs,)。

在r2_score和explained_variance_score接受附加价值’variance_weighted’的multioutput参数。该选项导致通过相应目标变量的方差对每个单独分数进行加权。此设置量化全局捕获的未缩放方差。如果目标变量具有不同的比例，则该分数更重要的是很好地解释较高的方差变量。 multioutput='variance_weighted’是r2_score 向后兼容性的默认值。