提高数据科学效率的 8 个Python神库

最新推荐文章于 2024-06-20 13:14:17 发布

爱摸鱼的菜鸟程序员

最新推荐文章于 2024-06-20 13:14:17 发布

阅读量228

点赞数 1

文章标签： python 深度学习机器学习

本文链接：https://blog.csdn.net/weixin_56659172/article/details/126123862

版权

本文介绍了8个提升数据科学效率的Python库，包括Optuna（超参数优化）、ITMO_FS（特征选择）、shap-hypetune（联合特征选择和超参数调优）、PyCaret（低代码机器学习）、floWeaver（流数据可视化）、Gradio（快速创建交互界面）、Terality（加速Pandas）和torchhandle（PyTorch训练辅助框架）。这些库能帮助数据科学家节省时间和提高工作效率。

摘要由CSDN通过智能技术生成

在进行数据科学时，可能会浪费大量时间编码并等待计算机运行某些东西。所以我选择了一些 Python 库，可以帮助你节省宝贵的时间。

1、Optuna

Optuna 是一个开源的超参数优化框架，它可以自动为机器学习模型找到最佳超参数。

最基本的（也可能是众所周知的）替代方案是 sklearn 的 GridSearchCV，它将尝试多种超参数组合并根据交叉验证选择最佳组合。

GridSearchCV 将在先前定义的空间内尝试组合。例如，对于随机森林分类器，可能想要测试几个不同的树的最大深度。GridSearchCV 会提供每个超参数的所有可能值，并查看所有组合。

Optuna会在定义的搜索空间中使用自己尝试的历史来确定接下来要尝试的值。它使用的方法是一种称为“Tree-structured Parzen Estimator”的贝叶斯优化算法。

这种不同的方法意味着它不是无意义的地尝试每一个值，而是在尝试之前寻找最佳候选者，这样可以节省时间，否则这些时间会花在尝试没有希望的替代品上（并且可能也会产生更好的结果）。

最后，它与框架无关，这意味着您可以将它与 TensorFlow、Keras、PyTorch 或任何其他 ML 框架一起使用。

2、ITMO_FS

ITMO_FS 是一个特征选择库，它可以为 ML 模型进行特征选择。拥有的观察值越少，就越需要谨慎处理过多的特征，以避免过度拟合。所谓“谨慎”意思是应该规范你的模型。通常一个更简单的模型（更少的特征），更容易理解和解释。

ITMO_FS 算法分为 6 个不同的类别：监督过滤器、无监督过滤器、包装器、混合、嵌入式、集成（尽管它主要关注监督过滤器）。

“监督过滤器”算法的一个简单示例是根据特征与目标变量的相关性来选择特征。“backward selection”，可以尝试逐个删除特征，并确认这些特征如何影响模型预测能力。

这是一个关于如何使用 ITMO_FS 及其对模型分数的影响的普通示例：

>>> from sklearn.linear_model import SGDClassifier 
>>> from ITMO_FS.embedded import MOS 
 
>>> X, y = make_classification(n_samples=300, n_features=10, random_state=0, n_informative=2) 
>>> sel = MOS() 
>>> trX = sel.fit_transform(X, y, smote=False) 
 
>>> cl1 = SGDClassifi