【内网基于docker部署flink1.13.6 CDC、zeppelin0.10.1、flink-sql-cookbook-on-zeppelin】

本文主要基于centos7单机、docker部署flink cdc和zeppelin，解决了cdc的jar包依赖。

1、基础环境

虚拟化服务器 32GB内存 500GB硬盘 16核
操作系统 centos 7
基础软件 docker

2、部署步骤

包含docker安装（略）、docker-compose文件编写、docker运行、CDC jar包部署、zeppelin运行测试。

2.1 docker安装

请参见互联网相关文献。

2.2 拷贝docker镜像至内网

2.2.1 外网机器下载所有需要镜像

在外网机器运行以下命令

docker pull apache/zeppelin:0.10.1
docker pull flink:1.13.6-scala_2.12-java8

2.2.2 外网机器镜像检查

在外网机器运行以下命令

docker images

应该看到2.2.1中的镜像

2.2.3 外网机器镜像打包

在外网机器运行以下命令

docker save -o apache_zeppelin_0.10.1.tar apache/zeppelin:0.10.1
docker save -o flink_1.13.6-scala_2.12-java8.tar  flink:1.13.6-scala_2.12-java8

2.2.4 拷贝至内网

将2.2.3中的tar包转递至内网服务器

2.2.5 内网加载镜像

在内网服务器执行以下命令

docker load -i  apache_zeppelin_0.10.1.tar
docker load -i  flink_1.13.6-scala_2.12-java8.tar

6.内网镜像查看
在内网服务器执行以下命令

docker images

应看到导入的镜像

顺便执行以下命令，为下边步骤创建相关目录

mkdir /opt/flink1136_cdc/
mkdir /opt/flink1136_cdc/flink
mkdir /opt/flink1136_cdc/jars
echo 'Asia/Shanghai' > /etc/timezone/timezone

2.3 下载flink-sql-cookbook-on-zeppelin

在外网机器执行下面命令，下载cookbook

git clone https://github.com/zjffdu/flink-sql-cookbook-on-zeppelin.git

拷贝flink-sql-cookbook-on-zeppelin文件夹至内网服务器的/opt/flink1136_cdc目录下

2.4 docker-compose文件

将下述代码复制为docker-compose.yml文件，拷贝至内网机器的/opt/flink1136_cdc/目录下。
本文件包含1个flink jobmanager实例、3个flink taskmanager 实例、1个zeppelin示例，并映射了系统的时区，解决docker镜像时区与宿主机器时区不一致的问题。

version: "2.1"
services:
  jobmanager:
    image: flink:1.13.6-scala_2.12-java8
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    volumes:
      -