项目	内容
这个作业属于哪个课程	人工智能实战2019
这个作业的要求在哪里	OpenPAI与NNI的使用
我在本作业的目标	学习OpenPAI的使用

学习OpenPAI的使用

OpenPAI简介

OpenPAI用于管理计算资源，并对机器学习任务进行了优化。通过Docker技术，硬件计算资源与软件相分离。这样，用户能轻松的进行分布式计算，在不同的深度学习框架间切换，也能在完全一致的环境中重复运行作业。适用场景如下：

在团队间共享强大的AI计算资源(例如，GPU，FPGA集群)。
在组织内共享或重用AI资产(如模型，数据，运行环境等)。
构建易于IT运维的AI计算平台。
在同一个环境中完成模型训练过程。

OpenPAI使用体验

在安装扩展OpenPAI VS Code后，可直接在VS Code中使用OpenPAI。

Use shortcut key Ctrl+Shift+P to open command palette.
input and look for PAI:Add PAI Cluster as below.
press Enter,and it takes to input the host of OpenPAI.
之后，会弹出的集群配置文件，填写"username"和”password”并保存配置。
添加文件，文件夹需要包含以下项：
- _init__.py: 用于调用filetrans.py
- filetrans.py：实现hdfs和docker container之间的数据传输操作。主要实现数据download和upload
- run_samples.py：实现整个训练过程，包括下载数据，训练模型，上传结果模型
- train.sh: 训练模型的脚本命令

添加任务：

双击Create Job Config…创建配置文件。本例中直接copy了实例中的JSON文件，修改了jobname(便于后面辨认出自己提交的任务)

 {
     "jobName": "jyh_test_couplet_001",
     "image": "tobeyqin/pai.build.cu80:my",
     "codeDir": "$PAI_DEFAULT_FS_URI/$PAI_USER_NAME/$PAI_JOB_NAME",
     "dataDir": "$PAI_DEFAULT_FS_URI/Data/$PAI_JOB_NAME",
     "outputDir": "$PAI_DEFAULT_FS_URI/Output/$PAI_JOB_NAME",
     "taskRoles": [
         {
             "name": "test_001",
             "taskNumber": 1,
             "cpuNumber": 2,
             "gpuNumber": 1,
             "memoryMB": 8192,
             "command": "pip3 --quiet install future && cd $PAI_JOB_NAME && chmod +x train.sh && python3 run_samples.py"
         }
     ]
 }