flink-docker 安装

-- 安装wget
[root@k8smaster01 docker]# yum install wget

--下载flink包
wget -p ./ http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

-- 解压
[root@k8smaster01 flink-1.10.0]# pwd
/home/docker/mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0
[root@k8smaster01 flink-1.10.0]# mv flink-1.10.0-bin-scala_2.11.tgz /home/docker
[root@k8smaster01 docker]# tar xzvf flink-1.10.0-bin-scala_2.11.tgz -C ./
[root@k8smaster01 docker]# vim flink-1.10.0/conf/flink-conf.yaml
jobmanager.rpc.address: flink-jm
taskmanager.numberOfTaskSlots: 10

---配置dockerfile
[root@k8smaster01 docker]# vim dockerfile
FROM centos:centos7
#RUN yum install java-1.8.0-openjdk -y
ADD jre-8u231-linux-x64.tar.gz /usr/java/jdk
ENV JAVA_HOME /usr/java/jdk/jre1.8.0_231
ENV PATH ${PATH}:${JAVA_HOME}/bin
ARG FLINK_VERSION=1.10.0
ARG SCALA_VERSION=2.11
ARG FLINK_TAR_NAME=flink-${FLINK_VERSION}-bin-scala_${SCALA_VERSION}.tgz
ENV FLINK_HOME=/flink-${FLINK_VERSION}
ADD ${FLINK_TAR_NAME} /
#RUN mkdir /home
COPY flink_run.sh /home
EXPOSE 8088
VOLUME $FLINK_HOME/conf
RUN chmod u+x /home/flink_run.sh
#ENTRYPOINT cd /home && sh /home/flink_run.sh

ENTRYPOINT ["/home/flink_run.sh"]

--配置启动tm,jm
[root@k8smaster01 docker]# vim flink_run.sh
#!/bin/bash
FLINK_HOME=/flink-1.10.0
FLINK_JOB_MANAGER_SH=$FLINK_HOME/bin/jobmanager.sh
FLINK_TASK_MANAGER_SH=$FLINK_HOME/bin/taskmanager.sh

case "$1" in
"jobmanager")
$FLINK_JOB_MANAGER_SH start-foreground
;;

"taskmanager")
$FLINK_TASK_MANAGER_SH start-foreground
;;

*)
echo "COMMAND ERROR"
;;
esac


-- build
docker build -f dockerfile -t flink-service:flink1.10.0 ./
-- 创建Flink的network
docker network create flink
-- 启动1个job manager和2个task manager
docker run -itd  --name flink-jm  -p 8081:8081 -v /home/docker/flink-1.10.0/conf:/flink-1.10.0/conf --network flink flink-service:flink1.10.0 jobmanager
docker run -itd  --name flink-tm  -v /home/docker/flink-1.10.0/conf:/flink-1.10.0/conf --network flink flink-service:flink1.10.0 taskmanager
docker run -itd  --name flink-tm2  -v /home/docker/flink-1.10.0/conf:/flink-1.10.0/conf --network flink flink-service:flink1.10.0 taskmanager

-- 查看是否存在flink-jm和flink-tm容器
[root@k8smaster01 docker]# docker ps
CONTAINER ID        IMAGE                       COMMAND                  CREATED             STATUS              PORTS                                                            NAMES
a80cfceee5f2        flink-service:flink1.10.0   "/home/flink_run.sh …"   4 seconds ago       Up 3 seconds        8088/tcp                                                         flink-tm
305ac1e1d397        flink-service:flink1.10.0   "/home/flink_run.sh …"   20 seconds ago      Up 19 seconds       0.0.0.0:8081->8081/tcp, 8088/tcp                                 flink-jm
729bfc0cd64c        2497f179cf1d                "/usr/sbin/run-vsftp…"   3 months ago        Up 59 minutes       0.0.0.0:20-21->20-21/tcp, 0.0.0.0:21100-21110->21100-21110/tcp   zhaoolee_vsftpd
[root@k8smaster01 docker]#

外部访问:
http://192.168.108.178:8081/#/overview

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,您可以按照以下的方式来编写docker-compose.yml文件: ``` version: '3.7' services: jobmanager: image: flink:1.17.0 command: jobmanager ports: - "8081:8081" taskmanager: image: flink:1.17.0 command: taskmanager depends_on: - jobmanager links: - jobmanager:jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TASK_MANAGER_MEMORY_PROCESS_SIZE=1024m elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 environment: - discovery.type=single-node ports: - "9200:9200" mysql: image: mysql:8.0 environment: - MYSQL_ROOT_PASSWORD=<your_password> - MYSQL_USER=<your_user> - MYSQL_PASSWORD=<your_password> - MYSQL_DATABASE=<your_database> ports: - "3306:3306" postgres: image: postgres:13.1 environment: - POSTGRES_USER=<your_user> - POSTGRES_PASSWORD=<your_password> - POSTGRES_DB=<your_database> ports: - "5432:5432" flink-job: image: flink:1.17.0 volumes: - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar:/opt/flink/lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar - ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar - ./lib/flink-sql-connector-postgres-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-postgres-cdc-2.3.0.jar command: jobmanager depends_on: - jobmanager - elasticsearch - mysql - postgres links: - elasticsearch:elasticsearch - mysql:mysql - postgres:postgres environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TM_HEAP_SIZE=1024m - FLINK_PROPERTIES= - FLINK_ENV_JAVA_OPTS= - FLINK_ENV_JAVA_TOOL_OPTIONS= - FLINK_CONF_DIR=/opt/flink/conf - FLINK_LIB_DIR=/opt/flink/lib - FLINK_PLUGINS_DIR=/opt/flink/plugins - FLINK_OPT_DIR=/opt/flink/opt - FLINK_LOG_DIR=/opt/flink/log - FLINK_HOME=/opt/flink volumes: - ./job.jar:/opt/flink/job.jar - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml ``` 其中需要注意的是: 1. 在 `flink-job` 服务中,我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。 2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_PROPERTIES`,因为 Flink 在启动时会读取这个环境变量中的配置信息。 3. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_LIB_DIR`,这是因为 Flink 在启动时会从这个目录中加载依赖的jar包。 4. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_CONF_DIR`,这是因为 Flink 在启动时会读取这个目录中的配置文件。 5. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_HOME`,这是因为 Flink 在启动时需要知道它的安装路径。 上述的docker-compose.yml文件可以满足您的要求,在启动容器后,您可以使用以下的命令来进入到flink-job容器中: ``` docker-compose run flink-job /bin/bash ``` 然后,您可以在容器中运行Flink任务了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值