【山东大学软件学院 21 级项目实训】飞桨平台BML Codelab学习-（上）

首先是对百度飞桨PaddlePaddle 整个平台的调研和学习

对AI studio 中ocr模型的平台的使用

首先我们对整个BML Codelab 环境进行学习

Notebook由以下这几个部分构成：

• 菜单栏

• 快捷工具栏

• 代码编辑区 Code Cell

• 代码编辑区 Markdown Cell

• 侧边栏

• 状态监控区

菜单栏

• 文件 ：对整体项目文件的操作.

• 编辑 ：对单元格的操作.

• 查看 ：关于视图的操作.

• 运行 ：不同方式的cell运行命令.

• 内核 ：关于内核的操作.

• 标签页 ：关于标签页的操作.

• 设置 ：关于notebook的系统设置操作.

• 帮助 ：使用帮助，包括Markdown参考文档、Blackhole使用说明、飞桨官网、BML CodeLab本地端下载、帮助按钮.

快捷工具栏

• 运行 ：运行当前选中的Code cell.

• 终止运行 ：停止Notebook运行状态.

• 重启内核 ：重启代码内核，清空环境中的环境变量、缓存变量、输出结果等.

• 保存 ：保存Notebook项目文件.

编辑区 Code Cell

Code Cell是Notebook的代码编写单元。用户在Code Cell内编写代码（支持Python3）和shell命令，代码/命令在云端执行，并返回结果到Code Cell.

命令/编辑模式

绿色代表块内容可编辑状态-编辑模式（比如输入代码），蓝色代表块可操作状态-命令模式（比如删除Cell，必须回到蓝色），与linux编辑器vi/vim类似，编辑模式和命令模式之间可以用Esc和Enter来切换。

• 编辑模式

• 命令模式

Code Cell操作

• 新建Cell

1. 从快捷工具栏中点击【+Code】新建Code Cell

2. 在Cell下方点击【+Code】新建Code Cell

• 运行Cell

• 运行中状态：

• 折叠Cell

• 其他操作

• Linux命令

  运行Linux命令的方式是在Linux命令前加一个!，就可以在块里运行

  示例1:安装第三方包

示例2:查看当前环境中的Python版本和Paddle版本

• Magic关键字

  Magic关键字是可以运行特殊的命令. Magic 命令的前面带有一个或两个百分号(% 或 %%), 分别代表行Magic命令和Cell Magic命令. 行Magic命令仅应用于编写Magic命令时所在的行, 而Cell Magic命令应用于整个Cell.

Magic关键字	含义
%timeit	测试单行语句的执行时间
%%timeit	测试整个块中代码的执行时间
%matplotlib inline	显示 matplotlib 包生成的图形
%run	调用外部python脚本
%pdb	调试程序
%pwd	查看当前工作目录
%ls	查看目录文件列表
%reset	清除全部变量
%who	查看所有全局变量的名称，若给定类型参数，只返回该类型的变量列表
%whos	显示所有的全局变量名称、类型、值/信息
%xmode Plain	设置为当异常发生时只展示简单的异常信息
%xmode Verbose	设置为当异常发生时展示详细的异常信息
%debug	bug调试，输入quit退出调试
%bug	调试，输入quit退出调试
%env	列出全部环境变量

示例1: 使用 %%timeit测算整个块的运行时间.

示例2: 块可集成Matplotlib,从而进行绘图, 但需要注意绘图前需要输入%Matplotlib inline并运行, 否则即使运行终端可用的绘图代码段, cell也只会返回一个文件说明, 如下图所示

编辑区 Markdown Cell

Markdown Cell是Notebook中文本编辑单元，通过在Markdown Cell中输入Markdown格式的文本，可以编写文字教程说明.

命令/编辑模式

绿色代表块内容可编辑状态-编辑模式（比如输入文字），蓝色代表块可操作状态-命令模式(预览md展示样式)，编辑模式和命令模式之间可以用Esc和Enter来切换。

• 编辑模式

• 命令模式(预览样式)

Markdown Cell操作

• 新建Cell

1. 从快捷工具栏中点击【+Markdown】新建Markdown Cell

2. 在Cell下方点击【+Markdown】新建Markdown Cell

• 编辑Cell 支持插入公式、表格、图片、音乐、视频、网页等. 相关Markdown用法可以参考Markdown官网.

终端

用户可以使用终端来进行一些操作,例如查询GPU占用率. 或进行文本编辑.

用户可以从启动页点击终端打开终端界面.

注意:

1. Terminal未开放sudo权限.

2. 最多可同时使用5个终端.

侧边栏

文件浏览器

版本管理

版本是用于保存项目空间中的重要文件, 以及恢复;用户最多可以生成20个版本, 并制定不同的版本名称.

创建版本

用户可以点击左侧"版本"->"版本目录头部【+】", 来生成一个新版本. 每个版本最少会包含一个文件（其中.ipynb文件并非默认选中，用户可根据自己的需要添加文件至版本）, 最大可以达到1GB, 可包含至多1000个附带文件.

加载历史版本

用户正在编辑的内容会自动置为"草稿"版本, 如果用户对草稿版本的内容不满意, 可以重新加载历史上的版本以重新开始.

注意: 加载历史版本为全量操作, 即当前草稿版本的内容会被全部清空.

任务

由于Notebook有高级版GPU、尊享版GPU环境每周运行总时长限制, 以及Notebook离线运行时长最多2小时, 如果需要突破这两种限制, 可以使用Notebook中的后台任务.

后台任务基于一个版本, 可以将全部版本内容提交至后台的GPU服务器上进行运行, 然后可以将运行后的结果全量返回并再次导入Notebook环境中的一种机制.

BML Codelab中，后台任务依赖于版本中根目录（/home/aistudio/）下的ipynb文件，用户可将运行内容写在ipynb文件中，如根目录（/home/aistudio/）下的ipynb文件，则任务无法创建.

后台任务不依赖当前Notebook的硬件环境, 因此无论在普通版(CPU)环境, 还是在高级版(GPU)环境中, 均可以创建并提交.

后台任务创建流程

1、通过左侧工具栏点击「任务」，切换至任务窗口。

2、点击「创建任务」弹窗显示创建任务页面【1】。因为后台任务依赖与版本中根目录下的ipynb文件，因此您可根据实际情况选择「新建版本」或使用已有版本填写必要信息。若选择「新建版本」则进入创建版本页面。

注意：为保证任务的高效且正常运行，建议您在 Notebook 环境中完成项目调试，调试通过后再生成对应的任务版本。

3、在创建任务页面【1】中需要填写任务备注、选择项目版本以及执行文件.填写完成后，点击下一步进入创建任务页面【2】。

4、您可在创建任务页面【3】中根据任务的实际需要选择不同的运行环境。需要注意的是后台任务消耗算力卡，因此需要保证在提交任务时算力点余额>=1。

5、后台任务共提供2种运行环境，分别为V100 1卡 1点/小时和V100 4卡 8点/小时，选择不同的环境会展示对应环境的详细配置。

6、创建任务后，页面头部会弹窗提示"后台任务创建成功"并在左侧的任务列表中生成记录。

注意：若所选服务器爆满时，任务将处于'排队中'状态。排队中状态最多保持24小时，超过24小时任务将自动失败且任务处于排队状态不会消耗算力卡。

7、任务处于'运行中'状态时，您可通过项目详情页的后台任务板块或任务列表中对应任务的复选框中选择「查看日志」跳转至查看日志页面，观察任务运行情况。您也可以通过「终止任务」终止当前中正在排队或运行中的任务。

8、当任务完成后, 用户可以将任务输出结果下载至项目空间或本地。选择下载输出结果至项目空间时，会将您的任务结果压缩包保存在'/home/aistudio/任务编号/'路径下。

9、将结果导入项目空间或下载到用户本地电脑后，任务可以删除. 同时, 在项目预览页面中, 用户也可以管理已经提交任务, 进行终止, 删除, 下载输出结果。

注意事项:

• 只保留最近的5个任务；

• 每个任务的运行输出结果最多保留30天；

• 任务单次运行时间上限为72小时(不含排队时间)；

• 任务输出结果体积 > 20GB或文件数量 > 10000时，任务将会失败 ；

• 项目空间 > 60GB时，暂不支持下载输出至项目空间；