Kafka集群安装之普通安装和Docker方式安装

最新推荐文章于 2024-07-17 15:10:24 发布
最新推荐文章于 2024-07-17 15:10:24 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： kafka 文章标签： kafka Docker 集群 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23229591/article/details/81516502
版权

普通安装

准备工作
安装jdk

  • 上传jdk到linux中，并执行解压命令解压缩安装包

    tar -zxzf jdk1.8.0.tar.gz -C /opt/module

  • 添加环境变量

    vim /etc/profile   #添加环境变量
    
##JAVA_HOME##

export JAVA_HOME=/opt/module/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin
    source /etc/profile         ###刷新环境变量
java -version               #查看java版本
安装zookeeper集群

规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

  • 上传安装包到linux中，并执行解压缩命令

    tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
cd /opt/module/zookeeper-3.4.10       #进入zk目录
mkdir -p zkData       #创建日志目录
cd conf       #进入配置目录
mv zoo_sample.cfg  zoo.cfg        #修改默认配置文件名

  • 配置zoo.cfg

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    增加如下配置

    
#######################cluster##########################

server.2=hadoop102:2888:3888      #hadoop102、hadoop103、hadoop104为主机名，并在
server.3=hadoop103:2888:3888      #hosts中做了域名映射，此处为hadoop是用的hadoop环
server.4=hadoop104:2888:3888      #境

  • 添加集群编号

    cd    /opt/module/zookeeper-3.4.10/zkData
touch myid    #创建并修改文件
vim myid  #在里面写上对应的编号，如 2

  • 拷贝配置好的zookeeper到其他机器

    scp -r zookeeper-3.4.10/ root@hadoop103:$PWD
scp -r zookeeper-3.4.10/ root@hadoop104:$PWD

  • 修改 myid

    vim myid  #修改成相对应的ip编号即可

  • 启动集群

    [root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
    kafka安装

    解压缩安装包并改名

    tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
mv kafka_2.11-0.11.0.0 ./kafka
cd kafka

    修改配置文件

    vi server.properties


##########输入一下内容############


#broker的全局唯一编号，不能重复

broker.id=0

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径

log.dirs=/opt/module/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除

log.retention.hours=168

#配置连接Zookeeper集群地址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

    配置环境变量

    vi /etc/profile
    
#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
    source /etc/profile

    分发安装包既即环境变量

    scp -r /opt/module/kafka/ root@hadoop104:$PWD
scp -r /opt/module/kafka/ root@hadoop103:$PWD
scp -r /etc/profile root@hadoop103:$PWD
scp -r /etc/profile root@hadoop104:$PWD

    修改/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2。注：broker.id不得重复

    ​

Docker安装Kafka

编写zookeeper.Dockerfile文件
FROM centos:6.6

RUN yum -y install vim lsof wget tar bzip2 unzip vim-enhanced passwd sudo yum-utils hostname net-tools rsync man git make automake cmake patch logrotate python-devel libpng-devel libjpeg-devel pwgen python-pip

RUN mkdir /opt/java &&\
    wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u102-b14/jdk-8u102-linux-x64.tar.gz -P /opt/java

RUN tar zxvf /opt/java/jdk-8u102-linux-x64.tar.gz -C /opt/java &&\
    JAVA_HOME=/opt/java/jdk1.8.0_102 &&\
    sed -i "/^PATH/i export JAVA_HOME=$JAVA_HOME" /root/.bash_profile &&\
    sed -i "s%^PATH.*$%&:$JAVA_HOME/bin%g" /root/.bash_profile &&\
    source /root/.bash_profile

ENV ZOOKEEPER_VERSION "3.4.6"

RUN mkdir /opt/zookeeper &&\
    wget http://mirror.olnevhost.net/pub/apache/zookeeper/zookeeper-$ZOOKEEPER_VERSION/zookeeper-$ZOOKEEPER_VERSION.tar.gz -P /opt/zookeeper

RUN tar zxvf /opt/zookeeper/zookeeper*.tar.gz -C /opt/zookeeper

RUN echo "source /root/.bash_profile" > /opt/zookeeper/start.sh &&\
    echo "cp /opt/zookeeper/zookeeper-"$ZOOKEEPER_VERSION"/conf/zoo_sample.cfg /opt/zookeeper/zookeeper-"$ZOOKEEPER_VERSION"/conf/zoo.cfg" >> /opt/zookeeper/start.sh &&\
    echo "/opt/zookeeper/zookeeper-$"ZOOKEEPER_VERSION"/bin/zkServer.sh start-foreground" >> /opt/zookeeper/start.sh

EXPOSE 2181

ENTRYPOINT ["sh", "/opt/zookeeper/start.sh"]
编写kafka.Dockerfile文件
FROM centos:6.6

ENV KAFKA_VERSION "0.8.2.2"

RUN yum -y install vim lsof wget tar bzip2 unzip vim-enhanced passwd sudo yum-utils hostname net-tools rsync man git make automake cmake patch logrotate python-devel libpng-devel libjpeg-devel pwgen python-pip

RUN mkdir /opt/java &&\
    wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u102-b14/jdk-8u102-linux-x64.tar.gz -P /opt/java

RUN mkdir /opt/kafka &&\
    wget http://apache.fayea.com/kafka/$KAFKA_VERSION/kafka_2.11-$KAFKA_VERSION.tgz -P /opt/kafka

RUN tar zxvf /opt/java/jdk-8u102-linux-x64.tar.gz -C /opt/java &&\
    JAVA_HOME=/opt/java/jdk1.8.0_102 &&\
    sed -i "/^PATH/i export JAVA_HOME=$JAVA_HOME" /root/.bash_profile &&\
    sed -i "s%^PATH.*$%&:$JAVA_HOME/bin%g" /root/.bash_profile &&\
    source /root/.bash_profile

RUN tar zxvf /opt/kafka/kafka*.tgz -C /opt/kafka &&\
    sed -i 's/num.partitions.*$/num.partitions=3/g' /opt/kafka/kafka_2.11-$KAFKA_VERSION/config/server.properties

RUN echo "source /root/.bash_profile" > /opt/kafka/start.sh &&\
    echo "cd /opt/kafka/kafka_2.11-"$KAFKA_VERSION >> /opt/kafka/start.sh &&\
    echo "sed -i 's%zookeeper.connect=.*$%zookeeper.connect=zookeeper:2181%g'  /opt/kafka/kafka_2.11-"$KAFKA_VERSION"/config/server.properties" >> /opt/kafka/start.sh &&\
    echo "bin/kafka-server-start.sh config/server.properties" >> /opt/kafka/start.sh &&\
    chmod a+x /opt/kafka/start.sh

EXPOSE 9092

ENTRYPOINT ["sh", "/opt/kafka/start.sh"]
创建zookeeper镜像
docker -t jason/zookeeper:3.4.6 -f zookeeper.Dockerfile .
创建kafka镜像
docker -t jason/kafka:0.8.2.2 -f kafka.Dockerfile .

查看当前镜像目录

docker images|grepo jason

启动zookeeper

docker run -itd --name zookeeper -h zookeeper -p2181:2181 jason/zookeeper:3.4.6 bash
docker ps -a #查看运行过的images状态
docker ps    #查看正在运行的images列表

启动kafka

docker run -itd --name kafka -h kafka -p9092:9092 --link jason/kafka:0.8.2.2 bash
## --link 将kafka链接到zookeeper
docker ps    #查看正在运行的images列表
lsof -i:9092    #查看端口监听
lsof -i:2181

进入kafka的controller里面

docker exec -it kafka bash

在docker里面测试创建topic

source /root/.bash_profile #刷新
cd /opt/kafka/kafka_2.11-0.8.2.2
bin/kafka-topic.sh --create --topic test1 --zookeeper zookeeper:2181 --partitions 3 --replication-factor 1
bin/kafka-topic.sh --create --topic test2 --zookeeper zookeeper:2181 --partitions 3 --replication-factor 1      #创建topic
bin/kafka-topic.sh --list --topic test2 --zookeeper zookeeper:2181 ##查看
qq_23229591
关注
专栏目录
Docker安装kafka集群
nantongxiaoming的专栏
08-07 204
获取镜像 $ docker pull zookeeper:3.4 $ docker pull wurstmeister/kafka:1.1.0 创建网络 $ docker network create --attachable --driver overlay --subnet 192.168.1.0/24svc_net zookpeer集群 $exportZK_ID=1 $ docker service create --name zk$ZK_ID --mode global --host...
docker kafka 安装
sweetCandy_m的博客
12-08 881
kafka docker portainer 安装笔记
docker容器中搭建kafka集群环境.doc
11-07
docker容器中搭建kafka集群环境，kafka集群配置注意事项与优化
docker安装 kafka集群
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
01-05 6587
kafka是分布式的、基于发布/订阅模式的消息队列。本文使用docker安装 kafka集群
Docker内分布式消息系统kafka的安装和使用
最新发布
qq_37908302的博客
07-17 432
如果在线下载很慢，或无法下载安装依赖，可选择离线安装Docker！
Docker安装kafka
qq_35909525的博客
05-10 1117
Docker安装kafka前言一、拉取 zookeeper镜像二、拉取KAKFA三、启动zookeeper、kafka四、测试总结 前言 之前只知道linux使用docker安装各种工具，win版也有Docker而且非常好用。 安装win版docker，docker安装 一、拉取 zookeeper镜像 到docker hub寻找镜像 使用最新版本就用1，如果使用历史版本，点击2 这里使用最新版本 复制以下命令，打开cmd命令行 docker pull wurstmeister/zookeeper
docker安装kafka
JiMoXiaoHunRen的博客
06-05 1171
是一个分布式流媒体平台，类似于消息队列或企业消息传递系统。：订阅消息并处理发布的消息的对象称之为主题消费者（将消息分门别类，每一类的消息称之为一个主题（：已发布的消息保存在一组服务器中，称之为。集群中的每一个服务器都是一个代理（消费者可以订阅一个或多个主题（：发布消息的对象称之为主题生产者（拉数据，从而消费这些已发布的消息；相关的节点数据，所以安装。
Docker 安装Kafka
zhouzhiwengang的专栏
08-05 4667
第一步：查看本地镜像、检索Kafka镜像和下载Kafka 镜像# 查看本地镜像docker images# 检索Kafka镜像docker search kafka# 下载Kafka 镜像指定版本docker pull wurstmeister/kafka:latest 第二步：启动ZookeeperDocker 安装ZooKeeper 请参考:Docker安装ZooKeeper第三步：启动Kafkadocker run -d --name kafka \ -p 9092:9092 \ -e KAFKA
docker-kafka-cluster集群安装
02-22
使用Docker部署Kafka集群，可以简化环境配置，提高部署效率，同时也便于进行扩展和维护。通过理解Kafka的配置选项，我们可以更好地定制和优化集群以满足具体需求。结合Zookeeper管理Kafka的元数据，可以在分布式环境...
docker搭建zookeeper和kafka 集群
hfthxfhjy的博客
11-03 1352
docker-compose 部署kafka 集群，配置文件记录
docker-compose安装kafka集群以及golang简单操作kafka
m0_59335012的博客
07-22 902
docker-compose安装kafka集群以及golang简单操作kafka 以及命令行操作topic记录
docker安装kafka指令
03-14
docker 安装kafka指令（映射挂载宿主机）
kafka集群安装
11-21
【Kafka集群安装详解】 Apache Kafka是一个分布式流处理平台，常用于实时数据处理和消息队列服务。在本文中，我们将详细介绍如何在三个服务器（service1、service2、service3）上搭建一个基本的Kafka集群。 1. **...
vagrant 安装docker docker 安装mysql 、redis、kafka
05-23
vagrant 安装docker docker 安装mysql 、redis、kafka、 自启动
Docker搭建Kafka集群
qq_35876365的博客
03-30 2779
dokcer搭建kafka集群。
Docker搭建kafka集群
whhwch1986的博客
12-29 2158
【代码】Docker搭建kafka集群。
Kafka集群搭建（Docker方式部署）
shenaohuoli132的博客
04-10 1380
2.Zookeeper配置,创建Zookeeper配置文件。3.创建Zookeeper日志配置。4.创建Docker编排文件。
CentOS7 Docker中安装Kafka指南
在这个例子中，`docker-compose.yml`文件被用来配置和启动Kafka集群的各个容器。 4. 环境介绍: - 目录结构: `/opt/kafka`目录下有两个子目录，`docker-compose.yml`文件以及名为`kafkaCluster`的目录，其中`kafka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值