jupyterHub安装,docker安装JupyterHub,JupyterLub,配置JupyterHub使用JupyterLab

参考官方配置:
https://jupyterhub.readthedocs.io/en/stable/index.html

docker下安装jupyterHub

jupyterhub简介
部署步骤
1)拉取相关镜像,并设置和本地映射:
2)进入docker
3)增加用户用于登录jupyterhub的账户密码
4)安装jupyterhub和notebook
5)配置jupyterhub在启动后在哪个目录存储文件,并添加权限
6)启动jupyterhub
7)设置admin

配置JupyterHub使用JupyterLab
JupyterLab简介
JupyterLab安装
配置JupyterHub使用JupyterLab
多用户JupyterHub登录
登录认证方式
登录用户控制
jupyterHub支持GPU
安装docker
什么是docker
docker是一个开源的应用容器引擎,开发者可以打包自己的应用到容器里面,然后迁移到其他机器的docker应用中,可以实现快速部署。如果出现的故障,可以通过镜像,快速恢复服务。
Docker 包括三个基本概念:
镜像(Image):Docker 镜像就相当于是一个 root 文件系统,类似于面向对象编程中的类。
容器(Container):容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等,类似于面向对象编程中的对象。
仓库(Repository):仓库可看成一个代码控制中心,用来保存镜像。
Docker与传统虚拟机性能对比:
在这里插入图片描述
安装docker
1)centOs
安装docker运行所需要的依赖,执行命令:

yum install -y yum-utils device-mapper-persistent-data lvm2

为了加快下载速度,将yum源设为国内的阿里云镜像,执行命令:

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo


安装docker-ce,执行命令:

yum clean all yum makecache fastyum -y install docker-ce


通过systemctl启动服务,执行命令:

systemctl start docker

查看docker版本,执行命令:

docker -v

2)Windows
Docker 并非是一个通用的容器工具,它依赖于已存在并运行的 Linux 内核环境。 Docker 实质上是在已经运行的 Linux
下制造了一个隔离的文件环境,因此它执行的效率几乎等同于所部署的 Linux 主机。因此,Docker 必须部署在 Linux
内核的系统上,如果其他系统想部署 Docker 就必须安装一个虚拟 Linux 环境。
win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/,docker toolbox 是一个工具集合,包括了所需的虚拟机,通过点击 Docker QuickStart 图标来启动 Docker Toolbox 终端。
3)Mac
Homebrew 的 Cask 已经支持 Docker for Mac,因此可以很方便的使用 Homebrew Cask 来进行安装:

 brew install --cask --appdir=/Applications docker

部署jupyterhub
jupyterhub简介
JupyterHub是由Jupyter团队推出的一个支持多用户notebook的服务器。JupyterHub本身具有权限管理、配置管理、启动Notebook、反向代理等功能。官网的示意图很好地阐述了JupyterHub的功能:
在这里插入图片描述
其中需要特别注意的是图中的spawners,它所表达的意思是,Hub会为每一个登录的用户Spawn(直译为繁衍,实际上是启动一个新的实例)一个notebook,而后对于访用户的所有操作,Hub都会把它路由到这个notebook实例。这就是JupyterHub实现用户工作区虚拟化的方式。
JupyterHub 架构的介绍和原理详见官方文档,这里不再赘述,简单说就是 JupyterHub 把多用户认证和单用户(JupyterNotebook/JupyterLab) 的管理拆成了 Authenticator 和 Spawner 模块,可以根据不同的需要配置不同的认证方式或管理方式。

部署步骤
1)拉取相关镜像,并设置和本地映射:
不要拉取latest版本,latest版本存在Bug

docker run -p 8000:8000 -d --name jupyterhub -v /opt/jupyterhub/jupyterhub:/srv/jupyterhub -v /opt/jupyterhub/home:/home --restart=always jupyterhub/jupyterhub:1.0.0 jupyterhub

2)进入docker

docker exec -it jupyterhub bash

3)增加用户用于登录jupyterhub的账户密码

useradd jupyterhub
passwd jupyterhub

此时打开http://localhost:8000(http://127.0.0.1:8000/hub/login) 显示如下界面:
在这里插入图片描述4)安装jupyterhub和notebook

pip install jupyterhub --upgrade
pip install notebook --upgrade

5)配置jupyterhub在启动后在哪个目录存储文件,并添加权限

chmod -R 777 home
cd /home
mkdir jupyterhub
chown jupyterhub:jupyterhub jupyterhub -R

6)启动jupyterhub
刷新http://localhost:8000 界面,可以正常创建文件在这里插入图片描述
文件保存在设置的相应路径
在这里插入图片描述
7)设置admin
当前点击control Panel显示
在这里插入图片描述
设置当前账户为admin
创建config文件
设置当前账户为admin后
在这里插入图片描述

在这里插入图片描述
再次登录,点击control Panel显示如下,可以管理Users:
在这里插入图片描述
配置JupyterHub使用JupyterLab
JupyterHub默认是使用Jupyter Notebook,如果想使用Jupyter
Notebook的升级版本JupyterLab,还需要额外配置。
JupyterLab简介
JupyterLab是Jupyter主打的最新数据科学生产工具,某种意义上,它的出现是为了取代Jupyter Notebook,JupyterLab包含了Jupyter Notebook所有功能。

JupyterLab作为一种基于web的集成开发环境,可以使用它编写notebook、操作终端、编辑markdown文本、打开交互模式、查看csv文件及图片等功能。

upyterLab有以下特点:

交互模式:Python交互式模式可以直接输入代码,然后执行,并立刻得到结果,因此Python交互模式主要是为了调试Python代码用的
内核支持的文档:可以在Jupyter内核中运行的任何文本文件(Markdown,Python,R等)中启用代码
模块化界面:可以在同一个窗口同时打开好几个notebook或文件(HTML, TXT, Markdown等等),都以标签的形式展示,更像是一个IDE
镜像notebook输出:轻易地创建仪表板
同一文档多视图:实时同步编辑文档并查看结果
支持多种数据格式:既可以查看并处理多种数据格式,也能进行丰富的可视化输出或者Markdown形式输出
云服务:使用Jupyter Lab连接Google Drive等服务,极大得提升生产力
JupyterLab安装
首先进入docker相应的container,执行:

$ docker exec -it jupyterhub bash

然后安装JupyterLab,执行:

pip install jupyterlab

要想在JupyterHub使用JupyterLab还需要安装个插件,执行下面的命令进行安装:

jupyter labextension install @jupyterlab/hub-extension
这里可能会提示ValueError: Please install nodejs >=12.0.0 before continuing. 此时依次执行如下步骤再安装插件即可:
node --version # 查看当前版本
npm cache clean -f # 清楚缓存
npm install -g n # 获取版本管理工具
n stable # 获取最新稳定版本

配置JupyterHub使用JupyterLab
修改jupyterhub_config.py文件中的

c.Spawner.cmd = ['jupyterhub-singleuser']

c.Spawner.cmd = ['jupyter-labhub']

然后重启服务即可。

多用户JupyterHub登录
登录认证方式
当我们需要考虑JupyterHub为多用户服务时,首先考虑用户的认证问题。
JupyterHub默认采用PAMAuthenticator认真授权:

c.JupyterHub.authenticator_class = 'jupyterhub.auth.PAMAuthenticator'

PAM这个授权方式是服务器用户的登录认证方式,比如当我们在服务器追加一个用户user,就可以配置允许这个用户登录。
当然JupyterHub也支持别授权方式,比如接入GitHub、Google的OAuth、LDAP、RemoteUser等认证。
登录用户控制
JupyterHub支持多用户登录,对于用户登录的控制也提供多种方式:

用户黑名单控制 – c.Authenticator.blacklist
写在黑名单的用户会被限制登录。如配置:c.Authenticator.whitelist = { ‘user1’ },则user1就不能登录了。
用户白名单控制 – c.Authenticator.whitelist
写在白名单的用户才能登录。如配置:c.Authenticator.whitelist = { ‘user1’ },则只有user1能登录。该项优先级高于黑名单。
管理员用户 – c.Authenticator.admin_users
管理员用户可以查看登录的用户,某些授权方式下可以添加/删除用户,可以重启或停止Hub,可以停止其他用户的服务,如果有配置的话还可以访问其用户的内容。
用户组白名单 – c.LocalAuthenticator.group_whitelist
如果是采用默认的基于本地用户的授权方式,还能够通过用户组白名单来进行授权。如果配置了这项,用户白名单会失效。

c.Authenticator.whitelist是配置控制用户登录的配置项,默认不限制任何用户登录。如果有配置内容,则限制只有配置的这些用户可以登录。如:c.Authenticator.whitelist = { ‘user1’ },则只有user1能登录。

现在我们在之前的基础上追加用户user1 和 user2

c.Authenticator.whitelist = set(['user1' , 'user2'])

设置user1和user2用户的账户密码,此时刷新admin账户jupyterhub,我们可以看到多用户已经更新为:
在这里插入图片描述
此时登录user1用户并点击user1的access server
在这里插入图片描述
提示Authorize access授权访问:

在这里插入图片描述
点击Token可以进行配置

在这里插入图片描述
如果配置可访问则我们在jupyterhub用户中可以直接读写user1的文件,否则提示没有权限:

在这里插入图片描述
jupyterHub支持GPU
Docker内无法使用GPU,也就是说docker下的 jupyterHub无法支持tensor flow GPU,如果想在docker下的jupyterHub中使用GPU需要安装nvidia docker

# 如果安装 nvidia-docker 1.0,需要先删除它以及所有存在的GPU containers
docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
sudo apt-get purge -y nvidia-docker

# 添加相关包存储库
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update

# 安装nvidia-docker2 ,重新加载Docker daemon配置
sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd

# 拉取最新的官方CUDA镜像检测nvidia-smi
docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi

完~
本文转载自 https://blog.csdn.net/weixin_39860046/article/details/112000403

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
要在Docker配置JupyterHub,您可以按照以下步骤进行操作: 1. 首先,确保您已经安装DockerDocker Compose。如果没有,请先安装它们。 2. 创建一个名为`jupyterhub`的文件夹,并在其中创建一个名为`Dockerfile`的文件。 3. 在`Dockerfile`中添加以下内容: ```Dockerfile FROM jupyterhub/jupyterhub:1.4 # 安装 JupyterHub 的依赖包 RUN pip install jupyterhub-dummyauthenticator # 添加自定义配置文件 COPY jupyterhub_config.py /srv/jupyterhub/jupyterhub_config.py ``` 这个Dockerfile基于官方的JupyterHub镜像,并安装了一个名为`jupyterhub-dummyauthenticator`的虚拟认证器,以便在测试环境中使用。您可以根据需要更改认证器。 4. 在`jupyterhub`文件夹中创建一个名为`jupyterhub_config.py`的文件,并添加您的JupyterHub配置。例如: ```python c.JupyterHub.authenticator_class = 'dummyauthenticator.DummyAuthenticator' c.JupyterHub.spawner_class = 'dockerspawner.DockerSpawner' .DockerSpawner.image = 'jupyter/scipy-notebook' c.DockerSpawner.remove_containers = True # 添加其他配置选项... ``` 这里使用了`dummyauthenticator`作为虚拟认证器,并使用了`dockerspawner`作为启动器。您可以根据需要添加其他配置选项。 5. 确保您在`jupyterhub`文件夹中有一个名为`jupyterhub_config.py`的配置文件和一个名为`Dockerfile`的Docker文件。 6. 打开终端,导航到`jupyterhub`文件夹,并构建Docker镜像: ``` docker build -t jupyterhub-image . ``` 这会构建一个名为`jupyterhub-image`的Docker镜像。 7. 创建一个名为`docker-compose.yml`的文件,并添加以下内容: ```yaml version: '3' services: jupyterhub: image: jupyterhub-image ports: - 8000:8000 volumes: - /var/run/docker.sock:/var/run/docker.sock ``` 这个`docker-compose.yml`文件定义了一个名为`jupyterhub`的服务,使用之前构建的Docker镜像,并将主机的8000端口映射到容器的8000端口。 8. 在终端中导航到包含`docker-compose.yml`文件的目录,并运行以下命令启动JupyterHub: ``` docker-compose up -d ``` 现在,您应该可以通过访问`http://localhost:8000`来访问JupyterHub。 请注意,这只是一个简单的示例配置。根据您的需求,您可能需要进行更多的配置和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值