使用docker stack建構跨主機PySpark+Jupyter集群

最新推荐文章于 2024-03-05 12:40:43 发布
最新推荐文章于 2024-03-05 12:40:43 发布
阅读量519 收藏 1
点赞数
分类专栏： docker Linux Spark 大數據 文章标签： docker linux spark pyspark docker stack
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keineahnung2345/article/details/84875219
版权
Linux 同时被 3 个专栏收录
47 篇文章 0 订阅
订阅专栏
docker
18 篇文章 0 订阅
订阅专栏
Spark
9 篇文章 0 订阅
订阅专栏

使用docker stack建構跨主機PySpark+Jupyter集群

前言

在前篇如何在30秒內建構Spark環境–使用docker-compose 踩坑實錄中介紹了使用docker-compose在一台機器架設PySpark+Jupyter環境的方法。

在本篇中，會延續前篇，將原本單機版的環境擴展到多主機的集群，並且加入visualizer，讓我們可以在網頁中監控docker集群。

使用步驟

1. 下載這個項目

git clone -b all_merged https://github.com/keineahnung2345/docker-blog-example.git

2. 建立docker swarm

docker swarm init --advertise-addr=<your-host-ip>

3. 啟動docker集群

使用的指令由：

docker-compose up

變為：

docker stack deploy -c <(docker-compose config) dbe

注：這裡使用docker stack deploy dbe會出現環境變量無法載入的問題，詳見docker stack deploy無法載入.env檔案裡的環境變量及其解決方式。

項目中有兩個yml檔案，除了預設的docker-compose.yml外還有docker-compose-visualizer.yml這個檔案。
在docker-compose-visualizer.yml中加入visualizer（來自Docker Tutorial–Get Started, Part 5: Stacks）。
如此一來就可以在瀏覽器中監控docker集群的運行情況。

我們可以用以下指令啟動帶有visualizer的docker集群：

docker stack deploy -c <(docker-compose -f docker-compose-visualizer.yml config) dbe

4. 在命令行中監控docker集群

以下是幾個常用的指令：

docker stack ls

docker stack services dbe

docker stack ps dbe

docker service

詳見： keineahnung2345/docker-tutorial

5. 在瀏覽器中監控docker集群

前往http://<your-host-ip>:8089

與原版的差異

本篇與前篇的差異不僅在於將單機擴展到多機，還加入了visualizer。
這讓我們可以在網頁中監控docker的運行情況。

讓我們來看一下兩者的差異：

原來的docker-compose.yml

version: "3.1"
services:

  jupyter-debian:
    image: keineahnung2345/edgarperezsampedro-blog_docker:20181126
    ports:
      - "8888:8888"
    links:
        - spark-master
    volumes:
      - ./notebooks:/notebooks
      - ./results:/results
    depends_on:
      - spark-master
      - spark-worker-1
    env_file: .env
    environment:
      PASSWORD: ${PASSWORD}

  spark-master:
      image: edgarperezsampedro/spark2-ubuntu
      command: bin/spark-class org.apache.spark.deploy.master.Master -h spark-master
      hostname: spark-master
      environment:
        MASTER: spark://spark-master:7077
        SPARK_CONF_DIR: /conf
        SPARK_PUBLIC_DNS: ${HOSTIP}
      expose:
        - 7001
        - 7002
        - 7003
        - 7004
        - 7005
        - 7006
        - 7077
        - 6066
      ports:
        - 4040:4040
        - 6066:6066
        - 7077:7077
        - 8080:8080

  spark-worker-1:
      image: edgarperezsampedro/spark2-ubuntu
      command: bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
      hostname: spark-worker-1
      env_file: .env
      environment:
        SPARK_CONF_DIR: /conf
        SPARK_PUBLIC_DNS: ${HOSTIP}
        SPARK_WORKER_CORES: 2
        SPARK_WORKER_MEMORY: 2g
        SPARK_WORKER_PORT: 8881
        SPARK_WORKER_WEBUI_PORT: 8081
      links:
        - spark-master
      expose:
        - 7012
        - 7013
        - 7014
        - 7015
        - 7016
        - 8881
      ports:
        - 8081:8081

修改過後的docker-compose-visualizer.yml

version: "3.1"
services:

  jupyter-debian:
    image: keineahnung2345/edgarperezsampedro-blog_docker:20181126
    ports:
      - "8888:8888"
    links:
        - spark-master
    volumes:
      - ./notebooks:/notebooks
      - ./results:/results
    depends_on:
      - spark-master
      - spark-worker-1
    env_file: .env
    environment:
      PASSWORD: ${PASSWORD}
    networks:
      - webnet

  spark-master:
      image: edgarperezsampedro/spark2-ubuntu
      command: bin/spark-class org.apache.spark.deploy.master.Master -h spark-master
      hostname: spark-master
      environment:
        MASTER: spark://spark-master:7077
        SPARK_CONF_DIR: /conf
        SPARK_PUBLIC_DNS: ${HOSTIP}
      expose:
        - 7001
        - 7002
        - 7003
        - 7004
        - 7005
        - 7006
        - 7077
        - 6066
      ports:
        - 4040:4040
        - 6066:6066
        - 7077:7077
        - 8080:8080
      networks:
        - webnet

  spark-worker-1:
      image: edgarperezsampedro/spark2-ubuntu
      command: bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
      hostname: spark-worker-1
      env_file: .env
      environment:
        SPARK_CONF_DIR: /conf
        SPARK_PUBLIC_DNS: ${HOSTIP}
        SPARK_WORKER_CORES: 2
        SPARK_WORKER_MEMORY: 2g
        SPARK_WORKER_PORT: 8881
        SPARK_WORKER_WEBUI_PORT: 8081
      links:
        - spark-master
      expose:
        - 7012
        - 7013
        - 7014
        - 7015
        - 7016
        - 8881
      ports:
        - 8081:8081
      networks:
        - webnet

  visualizer:
      image: dockersamples/visualizer:stable
      ports:
        - "8089:8080"
      volumes:
        - "/var/run/docker.sock:/var/run/docker.sock"
      deploy:
        placement:
          constraints: [node.role == manager]
      networks:
        - webnet

networks:
  webnet:

兩者的主要差異在於：

  1. services下多了visualizer
  2. 多了networks這個欄位

visualizer

ports

visualizer的ports欄位下的"8089:8080"表示把container內部的8080 port對應到host上的8089 port。

volumes

而volumes則是將container外的/var/run/docker/sock目錄對應到container內部。如此一來，container便可以監控其它container的運行情況。

deploy

注意到visualizer的deploy下有個限制：

deploy:
  placement:
    constraints: [node.role == manager]

這個意思是說，限制visualizer這個service只能運行在docker swarm的manager（與之相對應的是worker）上。而docker swarm manager與worker的差別可以參考：How nodes work。

networks

在布署compose application到swarm集群時，可以使用自帶的overlay driver來讓分布在多機上的container可以互相溝通。

以下譯自Use overlay networks：

overlay network driver創造了橫跨多個docker daemon主機的分布式網路。這個網路位於各主機網路之上，這讓容器可以安全地互相溝通。docker並且負責正確地將docker daemon主機上的packet送到其目標容器。

我們可以使用docker network ls來查看現有的docker network，以下為在筆者機器上執行的結果：

NETWORK ID          NAME                DRIVER              SCOPE
f954a9bc31d9        bridge              bridge              local
uejs7xuxdol9        dbe_webnet          overlay             swarm
890fbc8442bd        dcos                bridge              local
e47de27aca0b        docker_gwbridge     bridge              local
491f90195245        host                host                local
v39dda60jg2n        ingress             overlay             swarm
318f113b0f68        none                null                local

其中dbe_webnet就是我們在docker-compose-visualizer.yml中定義的docker network，我們可以看到它使用的driver是overlay。

其它細節詳見：Networking in Compose，Top-level networks key，Service-level networks key，Use overlay networks，UNDERSTANDING DOCKER NETWORKING DRIVERS AND THEIR USE CASES。

踩坑記錄

docker stack deploy無法載入.env檔案裡的環境變量及其解決方式

參考連結

如何在30秒內建構Spark環境–使用docker-compose 踩坑實錄
Docker Tutorial–Get Started, Part 5: Stacks
keineahnung2345/docker-tutorial
docker stack deploy無法載入.env檔案裡的環境變量及其解決方式
How nodes work
Networking in Compose
Top-level networks key
Service-level networks key
Use overlay networks
UNDERSTANDING DOCKER NETWORKING DRIVERS AND THEIR USE CASES
Your first docker-compose.yml file

keineahnung2345
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于docker搭建跨主机的spark集群并配置notebook(一)
iluoi的博客
03-06 1958
一、制作docker镜像 知识水平尚有欠缺，对于dockerfile那一套理论也不熟悉，所以采取的制作一个docker镜像作为启动集群的载体： （一）在宿主机安装docker: 不同的系统安装docker的方法
从0开始学pyspark（二）：ubuntu docker搭建Hadoop集群环境
泛泛之素
06-01 3071
spark要配合Hadoop的hdfs使用，然而Hadoop的特点就是分布式，在一台主机上搭建集群有点困难，百度后发现可以使用docker构建搭建，于是开搞： github项目：https://github.com/kiwenlau/hadoop-cluster-docker 参考文章： https://www.jianshu.com/p/b75f8bc9346d docker安装 文章中...
Docker_pyspark
02-15
建立基础容器 docker build -t pyspark。 此容器未安装GraphFrames软件包。 安装它的简单技巧如下所示 使用图框构建容器 使用以下方法将bash外壳放入容器中 docker run -it --rm --gpus all -v FOLDER_PATH / data /：/ mnt / pyspark / -w / mnt / pyspark / pyspark_graphframes：latest 通过指定所需的软件包来运行pyspark，迫使其下载它们 pyspark-打包graphframes：graphframes：0.6.0-spark2.3-s_2.11 使用以下方式提交容器 码头工人提交CONTAINER_NAME NEW_IMAGE_NAME 使用Graphframes运行Docker容器 如果新图像名为pyspark_graphframe
基于docker的spark-hadoop分布式集群搭建：pyspark
Poor - Because you have no ambition
05-23 2387
基于docker的spark-hadoop分布式集群之一： 环境搭建 一、软件准备 1、基础docker镜像：ubuntu，目前最新的版本是18 下载hadoop安装包 （wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz） 下载spark安装包 （wget http://...
使用 Docker 设置 PySpark Notebook
最新发布
活到老、学到老
03-05 1431
此标志指示 Docker 将容器的所有公开端口发布到主机上的随机端口。在您的工作空间中命名的目录。请记住，您需要在下一步中调整路径以匹配您的系统设置。在此目录中您可以存储任何 CSV 文件。此标志指示 Docker 在分离模式下运行容器，这意味着它将在后台运行，您不会在终端中看到其输出。将 URL 中的默认端口替换为您在步骤 4 中标识的端口。在运行 Docker 映像之前，我们需要设置一个用于存储 Spark 数据的目录。在此示例中，您的主机上的端口 8888 映射到容器内的端口 8888。
docker 搭建pyspark环境
WGS.
04-10 1446
文章目录来看下Linux的demo文件目录software文件夹内容编写简单的demo.pydockerfiledocker builddocker run 来看下Linux的demo文件目录 software文件夹内容 编写简单的demo.py ''' from pyspark import SparkContext import os os.environ['JAVA_HOME'] = '/home/software/jdk1.8.0_144' # 这里的路径为java的bin目录所在路径，我这
spark-jupyter-docker:轻松设置带有PySpark集群的Jupyter Notebook游乐场
05-01
此存储库可以轻松地使用PySpark集群（使用 ）设置Jupyter Notebook，仅用于单个主机上的操场或开发环境。 默认情况下，jupyter容器映像包括： 大熊猫 麻木 科学的 scikit学习 matplotlib 张量流 张量流公园 您...
loudml-docker:Loudml API + Tensorflow + Jupyter开发人员专用
05-08
响亮的码头工人于开发人员的 API + Tensorflow + Jupyter软件包有关模型配置，API和功能的信息，请参见的指南。开发运行启动带有本地配置文件的容器： docker run --name loudml -p 8888:8888 -p 8077:8077 \ -v $...
pyspark-setup-demo：具有Jupyter Docker堆栈的PySpark和Jupyter Notebook演示
02-04
Jupyter Notebook PySpark演示带有的和演示。 有关该项目的完整信息，请阅读相关博客文章建筑建立从GitHub克隆此项目： git clone \ --branch v2 --single-branch --depth 1 --no-tags \ ...
Docker Stack 部署web集群的方法步骤
01-10
使用Dokcer Stack做服务集群也是非常的方便，docker自己就提供了负载功能，感觉很方便，就想给大家分享一下，做一个简单的教程。 环境 我是用了两台centos7的虚拟机来做这个教程他们的ip分别是 主服务器：192.168.0...
flask-spark-docker：只是PySpark和Flask的样板
02-05
Flask + Redis队列+ PySpark + Docker 如何使用Flask，Redis Queue，PySpark和Docker处理长时间运行的Spark流程的示例 快速开始 旋转容器： $ docker-compose up -d --build 打开浏览器到 例
在Docker中搭建Spark集群
不染心的博客
02-04 1775
参考：https://blog.csdn.net/hellojoy/article/details/92766134 集群的搭建参考的是这篇博客，但是在搭建中还是遇到了诸多问题，为了避免大家走弯路，我将自己搭建的路上遇到的问题以及如何搭建，在这里做一个记录。 因为我的导师所使用的就是这个Docker微服务技术，所以开始学习Docker，随着深入的学习，发现Docker的诸多方便快捷的地方，使用...
Win11 Docker 快速部署spark（快速部署pySpark 、使用Docker compose部署spark）
weixin_52785140的博客
10-06 1960
构建镜像完成后，还需要修改 docker-compose.yml 文件，使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群，同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD，在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信，首先需要启动 ssh 服务，然后依次启动 HDFS 和 YARN 集群。：挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share；
pyspark 环境搭建_开放式威胁狩猎基础设施搭建
weixin_39560657的博客
12-22 107
自从我开始公开记录检测结果以来，已经过去了将近三年时间，我一直在想，“我怎样才能以更实用、更互动的方式分享检测结果，让世界上的任何人都能从同一个地方访问、运行和验证每一个分析结果? ”我并不只是想分享一个静态文档，其中包含任何人都可以复制和粘贴的规则或查询。我想提供一种鼓励协作的方法，并允许其他人甚至可以查询我在分析开发期间使用的数据集。此外，我认为，如果我能找到一种方法，让其他人在不需...
docker安装spark、pyspark环境
随风*惊云的博客
09-03 2286
1. 下载spark ：spark-2.4.4-bin-hadoop2.7.tgz，以当前最高版本为准 2. 解压后找到kubernetes/dockerfiles/spark目录，查看Dockerfile文件，注意注释部分中有一条执行命令（其中的目录结构需特别注意），执行命令时需按照此目录结构位置执行。 3. 复制文件注释中的执行命令，并执行；生成spark镜像。此时生成的镜像中只有sp...
pyspark写入mysql内存溢出_pyspark - 使用PySpark进行数据框计算 - 堆栈内存溢出
weixin_30558137的博客
02-02 121
我有两个数据框。 df1-product sale total_sale Ppenitration%a 100 600 17b 200 600 33c 300 ...
pyspark安装的坑
大唐乾元的博客
01-14 554
1. pyspark python 库安装 采用pip install pyspark 会报错，查询stackoverflow 找到一个解决方案： https://stackoverflow.com/questions/51500288/unable-to-install-pyspark 就是先pip install pypandoc 然后再安装，就可以安装成功 2. 安装 Spark 整个包 需要安装: jdk、spark、hadoop、pyspark。 ...
在Docker中部署JupyterNotebook/JupyterHub
mgsky1的博客
07-08 8452
发现自己已经大半年没有更新博客了，主要还是忙，我觉得还是要把博客捡起来，不论是做环境搭建的整理还是技术点的记录都是好的，这个时间还是得花。不然时间一场就都忘了。 写在前面 从题目中可以猜到，本篇博文会分成两个部分: JupyterNotebook的搭建 JupyterHub的搭建 当然本次的搭建都是在Docker中完成的，在Docker中搭建环境个人认为与本地搭建有以下优势： DockerHub上有全球开发者提供的现成镜像，包括一些软件开发商提供的官方镜像，可以节省我们搭建环境的时间，因为有一些莫.
pyspark行转列、列转行或宽表转窄表、窄表转宽表
lquarius的博客
06-11 4388
列转行（宽表转窄表） from pyspark.sql import functions as F def unpivot(df, keys): #参数说明 dfdataframekeys 待转换表中需要保留的主键key，以list[]类型传入 #转换是为了避免字段类不匹配，统一将数据转换为string类型，如果保证数据类型完全一致，可以省略该句 df = df.select(*[F.col(_).astype("string") for ...
模拟使用Docker Swarm在ubuntu主机内搭建集群
04-24
好的，您的问题是如何在Ubuntu主机上使用Docker Swarm搭建集群。首先，您需要安装Docker和Docker Compose。您可以使用以下命令在Ubuntu上安装Docker： ``` sudo apt-get update sudo apt-get install docker.io ```...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值