docker-compose搭建spark集群

嘻嘻哈哈17

于 2024-03-12 20:43:25 发布

阅读量205

点赞数 3

分类专栏：环境搭建文章标签： docker spark 容器

本文链接：https://blog.csdn.net/F13122298/article/details/136083794

版权

环境搭建专栏收录该内容

19 篇文章 0 订阅

订阅专栏

1.建立文件 docker-compose-spark.yaml

version: '3'
services:
  master:
    image: bitnami/spark:latest
    environment:
      - SPARK_MODE=master
    ports:
      - '8080:8080'
      - '7077:7077'
  worker:
    image: bitnami/spark:latest
    depends_on:
      - master
    environment:
      - SPARK_MODE=worker
      - SPARK_MASTER_URL=spark://master:7077

2.使用命令

docker-compose -f docker-compose-spark.yaml up -d

3.测试用例
任意选择一个节点执行圆周率计算，这里选择master

#查看spark master容器信息
docker ps | grep master
#进入容器 默认就会进入/opt/bitnami/spark
docker exec -it master bash
#执行官方计算圆周率的案例
./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.12-3.5.0.jar 1000


参数：
–master 提交集群
–class 运行主类路径
1000 运行1000次