提高数据科学效率的8个Python神库

1、Optuna

Optuna 是一个开源的超参数优化框架，它可以自动为机器学习模型找到最佳超参数。

最基本的（也可能是众所周知的）替代方案是 sklearn 的 GridSearchCV，它将尝试多种超参数组合并根据交叉验证选择最佳组合。

GridSearchCV 将在先前定义的空间内尝试组合。例如，对于随机森林分类器，可能想要测试几个不同的树的最大深度。GridSearchCV 会提供每个超参数的所有可能值，并查看所有组合。

Optuna会在定义的搜索空间中使用自己尝试的历史来确定接下来要尝试的值。它使用的方法是一种称为“Tree-structured Parzen Estimator”的贝叶斯优化算法。

这种不同的方法意味着它不是无意义的地尝试每一个值，而是在尝试之前寻找最佳候选者，这样可以节省时间，否则这些时间会花在尝试没有希望的替代品上（并且可能也会产生更好的结果）。

最后，它与框架无关，这意味着您可以将它与 TensorFlow、Keras、PyTorch 或任何其他 ML 框架一起使用。

2、ITMO_FS

ITMO_FS 是一个特征选择库，它可以为 ML 模型进行特征选择。拥有的观察值越少，就越需要谨慎处理过多的特征，以避免过度拟合。所谓“谨慎”意思是应该规范你的模型。通常一个更简单的模型（更少的特征），更容易理解和解释。

ITMO_FS 算法分为 6 个不同的类别：监督过滤器、无监督过滤器、包装器、混合、嵌入式、集成（尽管它主要关注监督过滤器）。

“监督过滤器”算法的一个简单示例是根据特征与目标变量的相关性来选择特征。“backward selection”，可以尝试逐个删除特征，并确认这些特征如何影响模型预测能力。

这是一个关于如何使用 ITMO_FS 及其对模型分数的影响的普通示例：

>>> from sklearn.linear_model import SGDClassifier

>>> from ITMO_FS.embedded import MOS

>>> X, y = make_classification(n_samples=300, n_features=10, random_state=0, n_informative=2)

>>> sel = MOS

>>> trX = sel.fit_transform(X, y, smote=False)

>>> cl1 = SGDClassifier

>>> cl1.fit(X, y)

>>> cl1.score(X, y)

0.9033333333333333

&