机器学习性能优化方法

原文地址： http://blog.csdn.net/han_xiaoyang/article/details/53453145

机器学习最有价值(实际应用最广)的部分是预测性建模。也就是在历史数据上进行训练，在新数据上做出预测。 而预测性建模的首要问题是：如何才能获得更好的结果？为此，我们整理了一份备忘清单，用于提升机器学习算法的性能。该清单主要分为以下4个子主题：

①基于数据改善性能

②借助算法改善性能

③用算法调参改善性能

④借助模型融合改善性能

（注：清单越往下，获得的增益可能越小）

一、基于数据改善性能

改变你的训练集数据以及问题定义方式，将能很大地提升算法的性能。

策略： 从新的、不同的角度透视你的数据，以便将潜藏的问题结构充分暴露给算法。

数据策略：

①获得更多的数据： 你能够拿到更多或者更高质量的数据么？对现代非线性机器学习模型如深度学习而言，数据越多，改进越多。

②创造更多的数据： 如果你不能拿到更多数据，那么，你能创造出新的数据么？也许你可以填充或者重新排列现有数据，或者利用概率模型来产生新的数据。

③清洁你的数据： 你能否改善数据中的信号？也许可以纠正或删除一些缺失或错误的观测值，或者在合理范围外的离群点，从而提升数据质量。

④数据重新取样： 你能否对数据重新取样，以改变其大小或者分布？也许你可以用一个小得多的数据来实验，以提高实验的速度；或对某个特殊类型的观察值进行过采样/欠采样以使得它们更好地代表整个数据集。

⑤重新界定问题： 你能否改变你正试图解决的问题类型？重构数据，如回归，二项或多项分类，时间序列，异常检测，评分，推荐等问题类型。

⑥重新缩放数据： 你能否对数值型变量进行缩放处理？输入数据的归一化和标准化处理可以提升使用加权或距离度量的算法性能。

⑦转化数据： 你能否改变数据的分布形态？使得数据更服从高斯分布，或进行指数变换可能会暴露出数据更多的特征供算法学习。

⑧数据投影（映射）： 你能否将数据投影到一个更低维的空间？你可以用无监督的聚类或投影方法，创造一个新的压缩数据集代表。

⑨特征选择： 所有的输入变量是否同等重要？使用特征选择和衡量特征重要性的方法，可以创造出数据的新视角，供模型算法探索。

⑩特征工程： 你能够创造或者增加新的特征？也许有的属性可以分解为多个新的值（比如类别，日期或字符串）或者属性可以聚集起来代表一个事件（如一个计数，二进制标志或统计信息）

期望结果： 得到数据集的一批新视角和新版本。

二、借助算法改善性能

策略： 找出那些性能高于基线水平，比平均水平要好的算法和数据呈现方式。对结果保持怀疑态度，设计实验，使得它很难愚弄你。

算法策略：

①重采样方法： 要用什么样的重采样方法来估计其在新数据上的能力？使用一种能够最好地利用现有数据的方法和参数设置。K折交叉验证法，利用其中的一折作为验证集可能是最佳操作。

②评价指标： 用什么样的指标来评价预测能力？选择能够最好地体现问题和专业需求的指标。不要任何问题一上来就看分类准确率。

③基线性能： 比较算法时，什么是基线性能？通过随机算法或零规则算法（预测均值或众数）来建立一个基线，并以此对所有算法进行排序。

④抽检线性算法： 什么样的线性算法能有好结果？线性方法通常更容易产生偏倚，也易于理解，能快速训练。如果能达到好效果，则更容易被选中。评估多个不同的线性方法。

⑤抽检非线性算法： 哪些非线性算法能有好结果？非线性算法通常要求更多数据，有更高的复杂性，但是能获得更好的性能。评估多个不同的非线性方法。

⑥从文献中偷师学艺： 哪些文献报导的方法能很好地解决你的问题？也许你能从算法类型或传统方法的延伸中获取解决自己问题的灵感。

⑦标准参数设置： 评估算法时，什么是标准的参数设置？每一个算法都有机会解决你的问题，这不是说在现有基础上死磕调参，而是说，每一种算法都需要把参数调好，才能在算法“大赛”中有胜出的机会。

期望结果： 得到性能良好的候选算法和数据呈现候选方法的清单。

三、用算法调参改善性能

算法调参可能是你花时间最多的地方。它可能非常耗时间，从算法抽检中很快能挖掘出一两个性能不错的算法，而把这一两个算法的潜力充分挖掘出来可能需要好几天，几周甚至几个月的时间。

策略： 从分挖掘性能良好的算法的潜力。

调参策略：

①诊断： 对算法要做哪些诊断和回顾？也许可以回顾一下学习曲线，了解目前模型的状态是过拟合还是欠拟合，然后纠正它。不同的算法可能提供不同的可视化结果和诊断。检视算法得到正确预测结果和错误预测结果的样本。

②试试直觉： 你的直觉是什么？如果你琢磨参数的时间足够长，而反馈回路又很短，那么你会得到怎么调参的直觉。试一试，看看你遇到更大的难题时能不能再得到新的参数设置灵感。

③学习文献： 文献中用到了哪些参数，范围是多少？评估标准参数性能是调参的良好开端。

④随机搜索： 哪些参数可以用随机搜索？也许你可使用算法超参数的随机搜索，来发现那些你永远也想不到的参数设置。

⑤网格搜索： 哪些参数可以使用网格搜索？也许有一些标准超参数网格值，你可以拿来赋值，从而发现好的参数设置，重复这一过程，不断精调网格。

⑥最优化： 哪些参数可以优化?也许有一些参数，如结构或者学习率，可以用直接搜索程序（如模式搜索）或随机优化（如遗传算法）来调整。

⑦交替实施： 算法有哪些其他的实施？也许其中的一个交替实施方法可以在同样的数据上得到更好的结果。每个算法都有无数的微决定由算法的使用者做出，其中的一些可能会影响到问题的解决。

⑧算法延伸： 哪些是常见的算法延伸？也许你可以通过评估常见的或标准的算法延伸而提高性能。这可能需要一些实施工作。

⑨算法定制： 对你的个案而言，需要做哪些算法定制？也许你可以为你的数据修饰算法，从损失函数，内部优化方法到算法的具体决定。

⑩联系专家： 对你的个案，专家们有什么算法推荐？给一个或多个算法领域的学术界专家写封简单的邮件，概述你的预测问题，以及你已经做出的尝试。这可能会让你获悉前沿工作，或者学术界不为你所知的新想法。

期望结果： 你应该可以得到一个很短的清单，上面是经过精调的算法。也许甚至只剩下一个。

四、借助模型融合改善性能

你可以组合多个模型的预测。在算法调参之后，这是下一个大的改善空间。实际上，组合多个“够用”的模型，而不是多个精调（同时也非常脆弱，可能严重overfitting）的模型通常可以达到很好的性能提升。

策略： 组合多个性能良好的模型预测结果。

组装策略：

①混合模型预测结果： 你是否可以直接组合多个模型的预测结果？也许你可以使用同样的或不同的算法来搭建多个模型。对各自的预测结果取均值，或者众数。

②混合数据呈现方式： 你是否可以组合用不同数据呈现方法得到的模型预测结果？也许你使用了不同的问题投射方法，来训练性能良好的的算法，那么这些预测结果可以组合起来。

③混合数据样本： 你是否可以组合不同数据角度(特征)训练的模型？也许你可以创造训练样本的多个子样本来训练一个性能良好的算法，然后把结果组合起来。这叫做自助聚集（bootstrap aggregation）或者bagging，当各个模型的预测都很高明而方法各异（不相关）时，效果最好。

④纠正预测： 你是否可以纠正性能良好模型的预测？也许你可以明确地纠正预测结果，或者通过像boosting这样的方法来学习如何纠正预测错误。

⑤学习组合： 你能否使用新的模型，学习如何将多个性能良好的预测结果以最佳方式组合起来？这叫做堆栈（stacked generalization or stacking），当各子模型都很高明而方法各异时，通常能产生不错的结果，聚集模型就是各预测结果的简单加权线性模型。这个过程可以在多个层面上重复进行。

期望结果： 你应该可以得到一个或多个性能良好的模型的组装结果，比任何单一模型的结果都好。