大数据处理实验（四）使用docker构建spark运行环境

一、安装docker与docker-compose

查询docker版本号。

在host上执行。

sudo docker -v

根据查询到的版本号，在下列网站找到对应的docker-compose版本。

https://github.com/docker/compose/releases

这里，我们使用最新的1.25.5版本。

执行下列命令，安装docker-compose。

docker-compose为单一可执行文件，将其放到/usr/local/bin中，给予文件执行权限即可使用。

当前使用的是1.25.5版本。

sudo curl -L "https://github.com/docker/compose/releases/download/1.25.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose
sudo chmod 777 /usr/local/bin/docker-compose

安装docker-compose 最新版本2.4.1 [https://github.com/docker/compose/releases]

二、系统构架图

使用docker hub查找我们需要的镜像。

三、docker compose部署文件

进入文件

vi docker-compose.yml

添加以下内容

version: '3'

services:
  spark-master:
    image: bde2020/spark-master:3.1.1-hadoop3.2
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    volumes:
      - <共享目录绝对路径>:/data
    environment:
      - INIT_DAEMON_STEP=setup_spark
  spark-worker-1:
    image: bde2020/spark-worker:3.1.1-hadoop3.2
    container_name: spark-worker-1
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    volumes:
      - <共享目录绝对路径>:/data
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
  spark-worker-2:
    image: bde2020/spark-worker:3.1.1-hadoop3.2
    container_name: spark-worker-2
    depends_on:
      - spark-master
    ports:
      - "8082:8081"
    volumes:
      - <共享目录绝对路径>:/data
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"

四、使用yml部署文件部署spark环境

在yml文件所在的目录下，执行命令：

sudo docker-compose up -d

检查docker在命令行的输出确认容器的部署顺利完成。

图一为docker compose1.25.5版本下运行截图，图二为2.4.1版本下运行截图

查看容器创建与运行状态

sudo docker ps

对输出进行格式化

sudo docker ps --format '{{.ID}} {{.Names}}'

使用浏览器查看master的web ui界面

进入spark-master容器

sudo docker exec -it <master容器的id，仅需输入一部分即刻> /bin/bash

查询spark环境，安装在/spark下面。

ls /spark/bin

进入spark-shell

/spark/bin/spark-shell --master spark://spark-master:7077 --total-executor-cores 1 --executor-memory 1024m

根据worker内存的具体情况修改cores数量及内存大小

进入浏览器查看spark-shell的状态

五、完成创建RDD与filter处理的实验

创建一个RDD

val rdd=sc.parallelize(Array(1,2,3,4,5,6,7,8))

打印rdd内容

rdd.collect()

查询分区数

rdd.partitions.size

选出大于5的数值

val rddFilter=rdd.filter(_ > 5)

打印rddFilter内容

rddFilter.collect()

退出spark-shell

:quit