在Docker中部署JupyterNotebook/JupyterHub

最新推荐文章于 2024-09-25 12:51:50 发布
最新推荐文章于 2024-09-25 12:51:50 发布
阅读量8.8k 收藏 31
点赞数 4
分类专栏： 环境配置篇 文章标签： docker python jupyter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mgsky1/article/details/107198352
版权

发现自己已经大半年没有更新博客了，主要还是忙，我觉得还是要把博客捡起来，不论是做环境搭建的整理还是技术点的记录都是好的，这个时间还是得花。不然时间一场就都忘了。

目录

写在前面

从题目中可以猜到，本篇博文会分成两个部分:

  • JupyterNotebook的搭建
  • JupyterHub的搭建

当然本次的搭建都是在Docker中完成的，在Docker中搭建环境个人认为与本地搭建有以下优势：

  • DockerHub上有全球开发者提供的现成镜像，包括一些软件开发商提供的官方镜像，可以节省我们搭建环境的时间，因为有一些莫名其妙的BUG会困扰我们数小时甚至数天。
  • 已经搭建好的镜像可以很方便地进行迁移，也就是说，如果我们到了一个新环境，不需要再重复造轮子搭建环境了。
  • 最重要的：正因为Docker搭建环境的便携性，我们可以把更多的精力花在技术本身，而不是各种个样的环境构建上。

这里简单介绍以下JupyterNotebook，我习惯性的叫它为朱比特，对应的就是爱情之神丘比特，主要还是谐音的关系。以Python为例，Jupyter是一个可交互式的编程平台，它基于iPython ，类似IDLE，但是有比原生IDLE更强大的功能，例如可以支持Markdown、Latex等语法，同时，Matplotlib等绘图库也可以inline展示，这对数据分析、机器学习、人工神经网络的调参，编程语言教学等具有重大意义。可以发现，国内外的一些Python库的教学视频，很多都是基于Jupyter的。由于我本人是从事大数据的，因此也打算在进行数据分析时，从原来的PyCharm切换到Jupyter。

JupyterNotebook的搭建

在Docker中搭建JupyterNotebook的过程很简单，一共分为两步

  • 选取并拉取镜像
  • 容器参数设置与启动容器

镜像的选择

在官方的Docker镜像选择文档中，提供了一系列镜像，它们分别对应于不同的需求。

  • jupyter/base-notebook
  • jupyter/minimal-notebook
  • jupyter/r-notebook
  • jupyter/scipy-notebook
  • jupyter/tensorflow-notebook
  • jupyter/datascience-notebook
  • jupyter/pyspark-notebook
  • jupyter/all-spark-notebook

其中jupyter/base-notebook是所有镜像的基础。
根据需求选择好镜像后，就可以pull镜像了，例如选择了jupyter/datascience-notebook，则在终端中执行以下命令:

$ docker pull jupyter/datascience-notebook

启动容器

你可以直接使用docker run来启动容器，即按照官方文档中最简单的启动方法

docker run -p 8888:8888 jupyter/scipy-notebook:latest

利用这种方式启动容器时，Jupyter会运行在8888端口上，同时，所有的操作都是一次性的，也就是说，不会持久化到磁盘，在容器被关闭后，都会被删除。

这里介绍一些常用的参数配置

  • 密码登录
  • 文件夹映射
  • Jupyer后台运行
  • SSL证书配置与反向代理

容器参数配置——密码登录

默认情况下，Jupyter是不需要密码的，自己用还行，要是想在云服务器上搭建，就会产生安全问题。

Juyter使用的是sha1加密算法，虽然都是sha1，但是我们不能将明文用python自带的hashlib库进行加密后直接使用，要使用Jupyer自带的命令进行生成。

具体可以参考如下做法：

1、 使用最朴素的方式启动一个临时Jupyer容器
2、从网页打开Jupyer，并新建一个笔记本。或者以交互模式进入容器，打开Python的原生交互界面。这里以后者为例。
3、依次运行以下代码：

from notebook.auth import passwd
passwd()

输入密码和确认密码后，你会得到一个以sha1开头的字符串，类似

sha1:67c9e60bb8bxxxxxxaed

将整个字符串复制，包括``sha1`这个前缀。

然后，运行容器时，加上--NotebookApp.password参数即可。

$ docker run -d -p 8888:8888 jupyter/base-notebook start-notebook.sh --NotebookApp.password='sha1:74ba40f8xxxxxe'

启动服务后，在浏览器端会显示这样的效果：
在这里插入图片描述

容器参数配置——文件夹映射

前面我们所有的操作都是临时的，在容器被关闭后，所有的数据都会丢失，因此，在一般情况下，有必要将数据持久化。Docker自带这样的功能，也就是才启动容器时，增加参数-v。在Jupyer中，我们要将外部文件夹映射到/home/jovyan/work。

以下是命令示例：

$ docker run -p 10000:8888 -v /your/local/folder:/home/jovyan/work jupyter/r-notebook

容器参数配置——Jupyer后台运行

直接在容器启动时加参数`-d``即可。
以下是命令时例：

docker run -d -p 8888:8888 jupyter/scipy-notebook:latest

容器参数配置——SSL证书配置与反向代理

默认情况下，Jupyer使用http，但是现在主流是https，Jupyer官方也建议使用https。这对本地来说无关紧要，对于部署在外网环境的，还是建议使用https。
JupyerNotebook Docker官方镜像也提供了设置https的方法。
我们从运营商申请到SSL证书时候，会有多种格式，这里我们选择Apache的就可以了。
在部署时，我们值需要.key和.crt文件，并且将原文件重命名为notebook.key和notebook.crt。首先要先将证书所在的文件夹映射至容器中，这里是/etc/ssl/notebook。

⚠️：Docker可以支持多个文件夹的映射，即多个-v参数，所以这里的映射与之前持久化的映射并不冲突。

然后运行以下命令：

docker run -d -p 8888:8888 \
    -v /some/host/folder:/etc/ssl/notebook \
    jupyter/base-notebook start-notebook.sh \
    --NotebookApp.keyfile=/etc/ssl/notebook/notebook.key
    --NotebookApp.certfile=/etc/ssl/notebook/notebook.crt

容器成功运行后，8888端口就不再提供http服务，而是https服务。

最后，简单说一下反向代理问题，现在主流的服务器，例如Apache、Nginx都有反向代理功能，Apache的可以参考我的博客：

如果不是Apache，Jupyer官方也提供了相关指南
设置好网站的反向代理后，需要注意的是Jupyter是用Socket来与Kernel进行通信的，所以还要开启服务器软件的Socket反向代理功能。 在这里，http情况下对应的是ws，https对应的是wss。这些在上面提及的官方指南中也有说明。

JupyterHub的搭建

本节，首先介绍一下什么是JupyterHub，以及它与JupyterNotebook的关系，然后简单介绍一下搭建过程。

什么是JupyerHub

JupyerHub是一个多用户的JupyerNotebook管理器。默认情况下，JupyerNotebook是不支持多用户使用的。而JupyterHub刚好弥补了这一缺点。在Docker中，JupyterHub更像一个守卫，首先，你要通过身份验证，然后，通过一个叫Spawn的机制为每一个通过验证的用户生成一个新的Docker容器，这样就可以多用户使用JupyterNotebook了。

同时，JupyerHub还支持文件夹共享，这个对于多用户协作来说是刚需，而这是普通JupyerNotebook做不到的。

搭建JupyerHub

这里推荐一篇文章，讲得很仔细，我参照他说的做，一次成功，也推荐给大家。我就不赘述了，避免重复造轮子。
使用Docker安装多用户版的JupyterHub

mgsky1
关注
专栏目录
使用dockerhub的jupyterhub搭建jupyterhub服务器
lekeeith的博客
04-11 1602
前言 不是小白文，不是小白文，不是小白文！！！！ 需要一定基础。 这个只算是本人踩坑记，不是每一步很详细。但是关键点很细。 我们为什么使用jupyterhub？ 1. 什么是jupyterhub？ jupyterhub是****，请自行百度。它实际上就是一个带登陆的jupyter。支持多人在线登录使用。 2. 什么是jupyter？ 详细介绍也请百度。简单理解jupyter就是可视化的语言编辑器。一般来说是做数据分析，挖掘，机器学习等会。可视化的展现结果。 3. 什么是jupyterlab？ 详细还请继续百
使用docker搭建自己的jupyterhub多用户服务器
qq_41023849的博客
06-28 4409
docker搭建自己的jupyterhub多用户服务器 并添加Java 和 C内核,快速,简单
828华为云征文 | 云服务器Flexus X实例，Docker集成搭建 Jupyter Notebook
最新发布
wei_shuo的博客
09-25 565
828华为云征文 | 云服务器Flexus X实例，Docker集成搭建 Jupyter Notebook
使用Docker部署Jupyter Notebook
Think in Java
02-25 993
安装TensorFlow版 #创建本地文件夹 mkdir -p /usr/local/docker/root/ #创建,v映射前面是本地,后面是docker路径 docker run -d -p 8866:8888 -v /usr/local/docker/jupyter_notebook/:/tf/ tensorflow/tensorflow:nightly-py3-jupyter 设置密码 #进入docker docker exec -it d4 /bin/bash #进入docker容器
使用Docker安装JupyterHub
鬼义虎神的学习笔记
10-08 2224
Docker安装JupyterHub JupyterHub汉化 给用户分配管理员权限 批量添加用户 用户设置密码
docker容器安装jupyter notebook（安装、配置、修改全过程）
热门推荐
不撸先疯。
03-14 2万+
一、镜像拉取 Docker hub官网查找自己想要的docker image https://hub.docker.com/ 例如，本文使用miniconda3的lastest版本： 使用命令拉取镜像： $ docker pull continuumio/miniconda3 二、启用容器 $ docker run -id -p XXXX-XXXX:XXXX-XXXX -p XXXX:xxxx --name XXXX --restart always -v /home/XXX
Docker 安装Jupyter Notebook
weixin_41674971的博客
05-11 417
Docker 安装 Jupyter Notebook_风浪云HH的博客-CSDN博客_docker jupyter notebook
使用docker搭建jupyter notebook/jupyterlab
brokyz
05-06 2738
使用docker搭建jupyter notebook / jupyterlab
zero-to-jupyterhub-k8s：在Kubernetes上部署JupyterHub的Helm图表和文档
02-03
JupyterHub Helm图表使用户可以在云环境中的Kubernetes集群上创建可复制且可维护的JupyterHub部署。 已发布的图表可在我们的。 历史 本文档的许多初始基础是从UC Berkeley的JupyterHub和Kubernetes在程序中的成功...
Docker:使用 JupyterLab 进行数据科学
美味小鱼的杂货铺
06-26 1482
JupyterLab 是一个开源应用程序，围绕计算笔记本文档的概念构建。它支持代码共享与执行、数据处理和可视化，并提供一系列用于创建图表的交互功能。您可以使用 Docker 创建自己的 JupyterLab 环境并将其构建为镜像。通过构建自己的镜像，您可以使用所需的软件包和工具自定义 JupyterLab 环境，并确保其在不同部署中的一致性和可重现性。构建自己的镜像还使得与他人共享 JupyterLab 环境或将其用作进一步开发的基础更加容易。
Docker 安装 Jupyter Notebook
风浪云HH的博客
06-10 1690
Jupyter Notebook为用户提供一种称为notebook工作环境——基于web浏览器，交互式的进行程序的开发、调试、分享。 基于Jupyter Notebook的工作环境，进行以下工作： 基于浏览器管理文件系统的文件（创建、删除、更名、编辑）。 基于浏览器的远程命令窗口。 基于浏览器的程序编写，调试。 分享notebook的内容。 如果安装于树莓派上，那JupyterNotebooks绝对是一个神器。在这上面进行操作，所有的操作都可以基于浏览器进行，而且不必再使用linux命令行下那些晦涩
pytorch 具有docker 版 并且带 jupyter_notebook ， 方便测试开发。
03-07
pytorch 具有docker 版 并且带 jupyter_notebook ， 方便测试开发。 pytorch 具有docker 版 并且带 jupyter_notebook ， 方便测试开发。 pytorch 具有docker 版 并且带 jupyter_notebook ， 方便测试开发。
docker部署jupyterhub
05-31 715
为了避免出现如下错误： 除了最基本的执行外： docker run -d -p 8000:8000 --name jupyterhub jupyterhub/jupyterhub jupyterhub docker exec -it jupyerhu bash useradd wxl passwd wxl 还需要在容器中做以下操作： 1.需要增加wxl用户目录及其权限 chmod -R 777 home cd /home mkdir wxl chown wxl:wxl wxl -R
用Docker部署自己的JupyterHub
gman344的博客
02-04 1550
【话在前头】 用 Docker 部署 JupyterLab 感觉是部署 JupyterLab 最方便的方式了，官方提供了很多可选的镜像，也可以自己从jupyter/base-notebook 中继续打包，镜像启动命令加上“--NotebookApp.password”就可以直接用密码登录用了。虽然只是自己一个人用，但是如果放在互联网上访问的话，总感觉不是那么安全，还是希望能像其他服务一样，能独立管理用户信息，能设置二次验证（2FA）。不过搜了下网上关于 JupyterHub 的资料比较少，甚至于...
如何在Ubuntu系统中使用Docker搭建Jupyter Notebook并实现远程访问工作台
沐雨风栉
01-11 1600
如上图所示，即为配置成功。我们现在就能在公网使用cpolar内网穿透工具生成的永久不变的固定二级子域名，使用任意浏览器远程访问Jupyter Notebook工作台了，无需购买域名服务器，也不用设置路由器那么麻烦，轻松实现大家远程访问本地服务的需求！地址保留成功后，复制生成的公网地址，打开cpolar web ui管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到我们刚才创建的随机公网地址隧道。在显示的信息底部，可以看到一长串的字符构成的token，下图红框中67f4开头，ec38结尾的这个即是。
Jupyter Notebook 4.0 docker 服务搭建
xxm的个人世界杯要开始了
06-14 1824
上一次了解 Jupyter Notebook 的时候还是 2.0 为主（3.0 lab 刚出来的那阵），今天发现 4.0 都已经 release 了，JupyterLab 4.0在稳定性，性能和用户体验等方面做出很大改进，值得尝试。
【Pandas】Docker-compose 一键搭建Jupyter Notebook
yqyn6的博客
08-15 1604
jupyter notebook 一键部署
docker下安装jupyterHub
泓源的博客
12-30 7010
docker下安装jupyterHub安装docker什么是docker安装docker1）centOs2）Windows3）Macdocker的基本操作1）列出机器上的镜像（images）2）从docker registry server 中下拉image或repository（pull）3）推送一个image或repository到registry（push）4）从image启动一个container启动容器5）将一个container固化为一个新的image（commit）6）查看所有的容器7）进入容
使用docker 搭建jupyterhub dockerfile分享
talkischeap
12-19 646
jupyter notebook 大家都使用过， 多人使用一台机器时考虑到环境隔离，数据及代码的隐私，jupyterhub更为合适，下面就分享下，我自己搭建jupyterhub时的dockerfile， docker下使用对新手搭建环境更友好哦。
docker部署jupyter notebook
03-27
Docker是一种容器化技术，可以将应用程序及其依赖项打包成一个独立的可移植容器。Jupyter Notebook是一个开源的交互式笔记本，可以用于数据分析、机器学习等任务。下面是使用Docker部署Jupyter Notebook的步骤： 1. 首先，确保你已经安装了Docker。可以在终端中运行`docker --version`来检查Docker是否已经安装。 2. 在终端中运行以下命令来拉取Jupyter Notebook的Docker镜像： ``` docker pull jupyter/datascience-notebook ``` 3. 拉取完成后，运行以下命令来启动Jupyter Notebook容器： ``` docker run -p 8888:8888 jupyter/datascience-notebook ``` 4. 在终端中会显示一个类似于`http://127.0.0.1:8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxx`的链接，复制该链接并在浏览器中打开。 5. 在浏览器中打开链接后，你将看到Jupyter Notebook的界面。你可以在其中创建、编辑和运行笔记本。 6. 如果需要将本地文件夹与容器中的Jupyter Notebook共享，可以使用`-v`参数来挂载本地文件夹。例如： ``` docker run -p 8888:8888 -v /path/to/local/folder:/home/jovyan/work jupyter/datascience-notebook ``` 这样，容器中的`/home/jovyan/work`文件夹将与本地的`/path/to/local/folder`文件夹进行共享。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值