jupyter kernel_Jupyter 平台最强插件,没有之一!

关注上方“ 数据挖掘工程师 ”,选择星标, 关键时间,第一时间送达! 薅起来!当当限时 3 折购书!

670bbf7f954f9dc7f84a8e1cb456bfae.png

本文示例文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

jupyter lab是我最喜欢的编辑器,在过往的文章中也给大家介绍过很多相关资源和实用插件,但本文要给大家介绍的jupyter lab插件elyra,绝对是我使用过的最强大的jupyter lab插件没有之一,因为它的核心功能就是帮助我们解决数据分析工作中非常重要的问题——「搭建工作流」

832b6ef5f30f8663e35d8e5654ab0bde.png
图1

2 利用elyra搭建工作流

在安装elyra插件集之前,请确保你的jupyter lab版本在2.0及以上,并且已经安装好了nodejs也就是所有jupyter lab拓展插件都需要的依赖。

不像常规的jupyter lab插件的安装方法,我们执行下列命令即可安装elyra下集成的多个插件:

pip install --upgrade elyra && jupyter lab build

安装完之后,你的jupyter lab操作界面外观会发生一些变化,我们先记住在安装elyra之前我们的jupyter lab界面长啥样(我使用的主题感兴趣的朋友可以通过jupyter labextension install jupyterlab-tailwind-theme来安装):

1203b344992b400d84a8388cd6fe6d06.png
图2

而在安装完成重启jupyter lab之后,除了左上角的jupyterlogo变化了之外,还新增了图中我用红框框选出来的地方:

87ac5d1816d97d2a67a9576723262fd4.png
图3

接下来我们就来介绍如何利用elyra交互式地「搭建工作流」

elyra赋予了我们通过交互的方式将若干个ipynb文件组织成工作流的能力,为了方便演示,这里我们创建几个带有简单流程代码的ipynb文件:

198c90d45391d8389ca4a31c6f3f222e.png
图4  step1.ipynb
cbd283a948496f1d1709012e95b66f0e.png
图5 step2.ipynb
3365ee9bc8ec05f7ce7f720eb96edf32.png
图6 step2-1.ipynb
91758adac1a2c77a2c4504b720568d46.png
图7 step2-2.ipynb

接着我们在「Launcher」页面点击Pipeline Editor打开用来交互式编辑「notebook流水线」的界面:

9455e370e13551b2ec6a14e63cdf3ff9.png
图8
bcc8e9007eaba464bd30fd61cbf966d8.png
图9

直接将侧边栏中对应的step1.ipynb文件拖拽进来:

dc4401c7acc10e700a2d030e07ec0213.gif
图10

点击流水线界面中ipynb文件对应节点右侧的三个圆点,可以打开更多功能选项:

f9ec8d760274c722d1f640e8d763d73e.png
图11

因为我们是本地环境,所以这里只需要在properties下必填参数Runtime Image中随便选一个就行:

7493867bb504621ac9d19b7e14d1a70d.png
图12

保存之后,就完成了本地环境下单个节点的必要参数设置,同样的将其他ipynb文件拖拽进来,各自配置好必要参数再如图13所示将各节点联结起来:

690a0bfb5e0a9ca5c343286bc90a9fe6.gif
图13

这样我们的流水线就搭建好了,是不是非常滴好玩~,接着点击左上角的运行按钮,输入流水线名称后即可开始运行我们的工作流:

48f97c43920eef393c28297af76cc208.png
图14

工作流执行成功之后也会有提示:

f4a84e70a99398100dd171860a080f03.png
图15

如果工作流执行到某个节点发生程序错误,也会有非常人性化的提示:

304e6b169fc3fd4128cd0a1e6baa496b.png
图16

对应出错的ipynb错误代码块上方,elyra也会帮我们创建记录错误信息的markdown单元格:

143acfba823a2adf6d502349bc70b9dd.png
图17

最好用的是,配合魔术命令%store,我们就可以跨notebook传递全局变量,而不需要再往外写出先前节点的结果文件:

利用%store 变量名将某个变量转化为跨kernel的全局变量:

b22d7cb724858ac80f2f1fb7f926175a.png
图18

利用%store -r 变量名将跨kernel全局变量中的指定变量加载到当前kernel中:

3091c646f9e5abb574680d0340ded99e.png
图19

而除了「搭建工作流」这个核心功能外,elyra还有很多其他的实用功能,感兴趣的朋友可以前往官方文档(https://elyra.readthedocs.io/en/latest/)自行阅读学习。

7da982719f7209a75457b2fbd5311a9c.png
图20

以上就是本文的全部内容,欢迎在评论区与我进行讨论~

特别推荐

e808edbc215ddbac9edf30ccbacf1830.png

fda450746521211d1dbfb0d35ea6f05e.png

这份字节跳动大牛总结的设计模式归纳笔记,免费共享给大家!

据说有小伙伴靠这份笔记顺利进入 BAT 哦,所以一定要好好学习这份资料!关注下方公众号,在后台回复关键字设计模式

fc28133cb16191f429860fff9a1c3f9a.png

推荐阅读

薅起来!当当限时 3 折购书!

爱了!全文 2.7 万字的数据仓库体系介绍

安利一个Python大数据分析神器!我发现了个 Python 黑魔法,执行任意代码都会自动念上一段 『平安经』好文!10年数据分析老司机的深度思考!VS Code、Atom、Sublime Text:谁才是真正的编辑器之王?太强了!这个 Jupyter notebook 离线工具可以用一辈子!经典的SparkSQL/Hive-SQL/MySQL面试-练习题“干货学习,三连
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值