SKIL/工作流程/进行实验

进行实验

SKIL中的实验对于定义不同的模型配置、封装模型训练以及执行不同的数据清理任务非常有用。实验与笔记本有一对一的关系，并有自己的存储机制，用于在寻找最佳候选模型时保存不同的模型配置。

实验假设你具有基本的编程技能，并且可以使用诸如python或scala之类的语言。

先决条件

在进行实验之前，确保阅读并理解工作区和笔记本。

 

创建实验

可以在一个工作间中创建多个实验。这允许你执行不同的任务，例如：

• 训练深度学习模型
• 转换一个数据集
• 测试不同的评估方法

若要创建实验，请打开新创建的工作间，然后单击“新建实验（New Experiment）”按钮。

在大多数情况下，你可以使用Default Zeppelin server。因为实验与笔记本有一对一的关系，这意味着每个实验都会自动创建一个笔记本，你可以使用导出的Zeppelin笔记本导入现有的JSON文件，也可以创建新的JSON文件。

请务必阅读笔记本了解可用功能。

模型存储

每个实验都有一个内置的存储机制，可以从任何类型的深度学习模型（无论是TensorFlow、Keras（或Keras后端）和Deeplarning4j）中保存权重。如果你试图调优训练过程，如果你想跟踪哪种方法最成功，模型存储很有用。
模型在实验中有自己的选项卡并显示为列表。如果你发现一个特定的模型运行良好，你也可以将它标记为“最佳模型（Best Model）”。

笔记本有一些特殊的类，可以将模型保存到实验中。阅读笔记本部分了解有关SkilContext和其他帮助类的更多信息。

 

模型评估

Standard practice in deep learning is to divide your dataset into 2-3 parts for the primary purpose of testing and evaluating a trained model. Typically you see datasets divided into:深度学习的标准实践是将数据集分为2-3个部分，主要用于测试和评估经过训练的模型。通常，你会看到数据集分为：

• 训练集
• 测试集
• 验证集

SKIL允许你将实验中测试的评估结果附加到保存的模型中。SkilContext有一个名为addEvaluationToModel的特殊方法，在这里你可以将Evaluation类传递给skil。此类包含详细的性能结果，包括准确率、精确率、召回、AUC和逐标签度量。

将评估添加到模型后，它将显示在详细模型视图中该模型旁边。