1.建立文件 docker-compose-spark.yaml
version: '3'
services:
master:
image: bitnami/spark:latest
environment:
- SPARK_MODE=master
ports:
- '8080:8080'
- '7077:7077'
worker:
image: bitnami/spark:latest
depends_on:
- master
environment:
- SPARK_MODE=worker
- SPARK_MASTER_URL=spark://master:7077
2.使用命令
docker-compose -f docker-compose-spark.yaml up -d
3.测试用例
任意选择一个节点执行圆周率计算,这里选择master
#查看spark master容器信息
docker ps | grep master
#进入容器 默认就会进入/opt/bitnami/spark
docker exec -it master bash
#执行官方计算圆周率的案例
./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.12-3.5.0.jar 1000
参数:
–master 提交集群
–class 运行主类路径
1000 运行1000次