jupyter notebook 快照功能,资源自动回收 (k8s)

需求:

  • 平台上提供 jupyter 环境给用户进行开发测试,并将环境生成镜像提供给跑训练任务时使用。
  • jupyter资源自动回收
#把前面的#去掉
c.NotebookApp.ip = '*'    #允许所有ip访问  补充:报错 No address associated with hostname可设置为:'0.0.0.0'
c.NotebookApp.open_browser = False    #不打开浏览器
c.NotebookApp.port = 8888             #端口为8888
c.NotebookApp.token = ''              #免密
#c.NotebookApp.base_url = '{base_url}'
#c.NotebookApp.shutdown_no_activity_timeout = 60 #1个小时 自动关闭jupyter
c.MappingKernelManager.cull_idle_timeout = 3600  #kernel超时关闭时间
c.TerminalManager.cull_inactive_timeout = 3600   #终端超时关闭时间
  • 快照

利用k8s api ,找到对应notebook pod 所在机器的 docker 镜像id, (参考
https://www.cnblogs.com/huhyoung/p/13652644.html)
通过dokcer tcp ,完成commit 及push操作

  • 自动快照

通过判断 notebook 是否活动 (终端活动状态,kernel活动状态),进行主动进行资源回收操作

  • 权限管理

利用 istio envoy fitler 拦截所有请求,进行用户身份认证,及鉴权操作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值