Docker镜像制作案例

最新推荐文章于 2023-10-20 13:27:39 发布
最新推荐文章于 2023-10-20 13:27:39 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： 大数据 文章标签： kafka kafka-eagle EFAK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang4721/article/details/124352328
版权

关于kafka-eagle（EFAK）kafka管理工具实现镜像制作及发布

由于kafka-eagle官方没有提供docker镜像，我们自行构建一个镜像并发布运行。以下是其镜像制作的详细过程。

下载kafka-eagle软件包并上传到centos服务器

ps:本文默认用户已经搭建好了docker的运行环境。

①官网下载地址：Download - EFAK

使用vi编辑器创建镜像脚本Dockerfile

#kafka-eagle的 Dockerfile 镜像脚本
 
#引入依赖的java环境
FROM openjdk:8-alpine3.9
 
#环境变量配置
ENV KE_HOME=/opt/kafka-eagle
 
ENV EAGLE_VERSION=2.1.0
 
CMD ["/bin/bash"]
 
#工作目录
WORKDIR /opt/kafka-eagle
 
#作者信息
MAINTAINER wangchao "zilan1986@163.com"
 
#拷贝压缩包到临时目录
COPY kafka-eagle-bin-${EAGLE_VERSION}.tar.gz  /tmp
 
#将上传的kafka-eagle压缩包解压放入镜像中并授权
RUN mkdir /opt/kafka-eagle -p && cd /opt && \
    tar zxvf /tmp/kafka-eagle-bin-${EAGLE_VERSION}.tar.gz -C kafka-eagle --strip-components 1 && rm -f /tmp/kafka-eagle-bin-${EAGLE_VERSION}.tar.gz && \
    cd kafka-eagle;tar zxvf efak-web-${EAGLE_VERSION}-bin.tar.gz --strip-components 1 && rm -f efak-web-${EAGLE_VERSION}-bin.tar.gz  && \
    chmod +x /opt/kafka-eagle/bin/ke.sh && \
    mkdir -p /hadoop/kafka-eagle/db
 
#将kafka-eagle的启动文件拷贝到镜像中
COPY entrypoint.sh /opt/kafka-eagle/bin
 
#给启动文件授权
RUN chmod +x /opt/kafka-eagle/bin/entrypoint.sh
 
#暴露端口
EXPOSE 8048 8080
 
#镜像的启动命令
CMD ["sh","/opt/kafka-eagle/bin/entrypoint.sh"]

使用vi编辑器创建镜像启动脚本entrypoint.sh

创建entrypoint.sh文件

#!/usr/bin
 
#kafka-eagle项目启动的命令
sh /opt/kafka-eagle/bin/ke.sh start
 
tail -f /dev/null

使用vi编辑器新建kafka-eagle的配置文件system-config.properties

创建kafka-eagle的配置文件system-config.properties

ps:将系统默认的配置文件复制一份修改

配置为kafka所属的的zookeeper集群地址

配置数据库地址

######################################
# multi zookeeper & kafka cluster list
# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead
######################################
#efak.zk.cluster.alias=cluster1,cluster2
#cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.0.219:2181
######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.efak.broker.size=20

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=16

######################################
# EFAK webui port
######################################
efak.webui.port=8048

######################################
# EFAK enable distributed
######################################
efak.distributed.enable=false
efak.cluster.mode.status=master
efak.worknode.master.host=localhost
efak.worknode.port=8085

######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

######################################
# kafka offset storage
######################################
cluster1.efak.offset.storage=kafka
cluster2.efak.offset.storage=zk

######################################
# kafka jmx uri
######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

######################################
# kafka metrics, 15 days by default
######################################
efak.metrics.charts=true
efak.metrics.retain=15

######################################
# kafka sql topic records max
######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10

######################################
# delete kafka topic token
######################################
efak.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
cluster2.efak.sasl.enable=false
cluster2.efak.sasl.protocol=SASL_PLAINTEXT
cluster2.efak.sasl.mechanism=PLAIN
cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.efak.sasl.client.id=
cluster2.efak.blacklist.topics=
cluster2.efak.sasl.cgroup.enable=false
cluster2.efak.sasl.cgroup.topics=

######################################
# kafka ssl authenticate
######################################
cluster3.efak.ssl.enable=false
cluster3.efak.ssl.protocol=SSL
cluster3.efak.ssl.truststore.location=
cluster3.efak.ssl.truststore.password=
cluster3.efak.ssl.keystore.location=
cluster3.efak.ssl.keystore.password=
cluster3.efak.ssl.key.password=
cluster3.efak.ssl.endpoint.identification.algorithm=https
cluster3.efak.blacklist.topics=
cluster3.efak.ssl.cgroup.enable=false
cluster3.efak.ssl.cgroup.topics=

######################################
# kafka sqlite jdbc driver address
######################################
#efak.driver=org.sqlite.JDBC
#efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#efak.username=root
#efak.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.0.219:3308/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456

  • 打包kafka-eagle镜像

打包命令

docker build -f Dockerfile -t efak:2.1.0 .

 #查看制作好的镜像
 docker images

启动 kafka-eagle容器

docker run --name efak -p 8048:8048 -v /data2/wangchao/kafka-eagle/system-config.properties:/opt/kafka-eagle/conf/system-config.properties -d efak:2.1.0

-p ：端口映射

-v ：文件映射

-d ：后台启动

②验证：访问地址：http://ip:port/ 默认账户密码： admin/123456

密码修改：efak-web-2.1.0-bin.tar.gz\efak-web-2.1.0\bin 目录下：sh或bat文件中内置账户和密码

# 进入efak容器修改 启动脚本更新密码
docker exec -it efak sh

仰望星空@脚踏实地
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kafka监控--kafka-eagle
02-05
kafka-eagle的安装使用，在网上找好了好久都没有找到完整资源，自己安装试验了好久，希望能对大家有帮助
docker镜像制作详细教程
03-20
# docker镜像制作 ## 什么是Docker镜像 + Docker 镜像可以理解为虚拟机模板，虚拟机模板就像停止运行的虚拟机，而 Docker 镜像就像停止运行的容器；作为一名研发人员，则可以将镜像理解为类（Class）。 ## 镜像和...
Docker07——镜像构建案例
如不來的博客
12-31 1199
一、Base(scratch)镜像  Docker Hub 中 99% 的镜像都是通过在 base 镜像中安装和配置需要的软件构建出来的。 二、案例  1、自定义镜像mycentos   ①编写Dockerfile    Docker Hub中默认的CentOS镜像的情况：登录后的目录为/；不支持vim和ifconfig命令    自定义mycentos使我们自己的镜像具有如下功能：登陆后的默认路径；vim编辑器；查看网络配置ifconfig支持。    编写Dockerfile文件：注意文件的名称必须
Dockerfile构建镜像详解与案例
weixin_39218464的博客
02-10 1442
docker Dockerfile构建镜像
第09讲：Docker镜像制作
分享日常工作技术
01-11 1579
Docker 镜像本质是一个分层文件系统。
Docker镜像制作
w_cjmla的博客
06-15 2021
commit build -t 基于容器手动制作镜像步骤具体如下: 实战案例: 基于Ubuntu的基础镜像利用 apt 安装手动制作 nginx 的镜像 **启动Ubuntu基础镜像并实现相关的配置 ** 提交为镜像 从制作的新镜像启动容器并测试访问 利用 DockerFile 文件执行 docker build 自动构建镜像 Dockfile 使用详解 Dockerfile 介绍 DockerFile 是一种被Docker程序解释执行的脚本，由一条条的命令组成的，每条命令对应linux下面的一条命令，
Docker打包制作rocketmq镜像
06-16
Docker打包制作rocketmq镜像(Dockerfile方式),并运行启动。 这里提供所有需要的文件，包括字体 ，lib，openoffice安装包。 提供dockerfile，build镜像脚本。
miniconda docker镜像
08-25
miniconda官方镜像，安装了cron ssh vim 启动方式 docker run -p 8822:22 -v /F/envs:/opt/conda/envs -v /F/IdeaProjects:/tmp/code -d -t -i miniconda:geovis /bin/bash
Spark3.1.2 Docker镜像资源
01-29
Docker制作Spark3.1.2镜像 步骤一：docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile . 步骤二：docker images查看镜像 步骤三：导出镜像 docker save -o spark3.1.2.tar ...
arm下nginx docker镜像
04-29
arm下nginx docker镜像
docker容器：docker镜像的三种创建方法及dockerfile案例
云计算之路
04-20 3893
本文主要介绍docker镜像的三种创建方法：基于现有镜像创建、基于本地模板创建、基于dockerfile创建，并且详细讲解了dockerfile结构及分层、联合文件系统、docker镜像加载原理、dockerfile操作常用的指令：FROM指令、MAINTAINER 指令、RUN指令、ENTRYPOINT指令、CMD指令、EXPOSE指令、ENV指令、ADD指令、COPY指令、VOLUME指令等。并通过dockerfile创建了httpd实例、sshd实例、systemd实例、nginx实例等
08--案例:Dockerfile制作镜像
Wsjm666的博客
04-05 236
08--案例:Dockerfile制作镜像
kafka-eagle 管理工具
叱咤少帅的博客
11-12 2799
前言 之前一直用雅虎的Kafka-Manger 去管理Kafka，后面发现 kafka-eagle 也可以实现，所以尝试搭建一下 kafka-eagle 并作下比较 看有什么不同点。 部署 （1）先安装JDK8: https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/ （2）下载安装包安装 https://github.com/smartloli/kafka-eagle-bin （3）加环境变量 vi /etc/profile # 在profile文件中添加 e
Docker——如何自定义镜像【将自己的项目制作成镜像】？
最新发布
LYJbao的博客
10-20 2173
想要快速部署项目的同学，快看过来~~~
EFAK管理kafka集群
xyw19991006的博客
03-23 610
使用efak管理kafka集群
Docker的自定义镜像
越努力越幸运的博客
08-29 1186
回顾一下，什么是镜像？镜像是将应用程序及其所需要的系统函数库、环境、依赖、配置打包而成。镜像的结构是分层的，每一层称为一个Layer。其中最底层包含基本的系统函数库、环境变量、文件系统 的层我们称之为BaseImage层最顶层作为镜像的入口，是镜像中应用启动的命令，我们称之为Entrypoint。其他在BaseImage层基础上添加的依赖、安装程序以及完成整个应用的安装和配置，处于BaseImage层和Entrypoint层之间，每一层我们称为一个Layer。下面直接来一个实例（...
Docker安装Kafka（docker-compose）、EFAK监控
Lifelong learning
05-08 6757
安装Docker Docker安装mysql EFAK监控面板会用到 EFAK监控面板 容器安装 1、kafka需要zookeeper管理，所以需要先安装zookeeper。 （PS：2.8版本以后kafka-Kraft 模式不再依赖zk，目前别的很多组件都依赖zk注册，所以还是以zk举例） 2、下载zookeeper镜像 $ docker pull wurstmeister/zookeeper $ docker pull wurstmeister/kafka 启动zk镜像生成容器 docker run
docker 镜像的制作方法
热门推荐
web15870359587的博客
04-18 1万+
一、docker image 的制作两种方法： 方法1：docker commit # 保持 container 的当前状态到image后，然后生成对应的 image 方法2：docker build # 使用dockerfile 文件自动化制作 image 方法1：docker commit 1.创建一个安装好apache 工具的容器镜像。 命令是： [root@localhost]#docker run -it docker.io/centos:latest /bin/bas
Dockerfile构建镜像实例
klvjb的博客
11-29 380
通过Dockerfile文件可以很方便的构建我们所需的镜像 实例应用 一.容器内构建sshd服务镜像 二.构建systemctl镜像 三.nginx服务搭建 四.构建Tomcat 实例应用 一.容器内构建sshd服务镜像 创建sshd文件夹 [root@localhost ~]# mkdir sshd [root@localhost ~]# cd sshd/ 编辑 Dockerfile [root@localhost sshd]# vi Dockerfile FRO...
docker 镜像制作
04-05
Docker 镜像制作是将应用程序和环境打包成一个可移植的容器的过程。以下是 Docker 镜像制作的步骤： 1. 编写 Dockerfile：Dockerfile 是 Docker 镜像的构建文件，它定义了镜像的构建过程和所需的环境和依赖。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

仰望星空@脚踏实地

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值