Kafka本地集群搭建

原创 2018年04月17日 16:07:24

工作需要,本地搭建了kafka的集群做测试,并简单使用。

本地环境:
- VMware Workstation 14 Pro
- CentOS 7
- jdk-8u161-linux-x64.tar.gz
- zookeeper-3.4.10.tar.gz
- kafka_2.11-1.0.1.tgz

主机名 IP 软件
tyron0 192.168.1.100 jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron1 192.168.1.101 jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron2 192.168.1.102 jdk 8、zookeeper-3.4.10、kafka-1.1.0

kafka的topic使用

环境搭建

可以参考我之前的文章:VMware14搭建CentOS+jdk8环境

zookeeper安装

参考教程:认识 ZooKeeper-极客学院
附上配置文件:
zoo.cfg

// 启动zookeeper
cd /opt/zookeeper/bin/
./zkServer.sh start

zookeeper启动成功
注意事项:三台虚拟机开启2888、3888端口

firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
systemctl restart firewalld.service

搭建过程中出现的问题:启动ZooKeeper出错及解决方法

kafka安装

kafka安装相对简单与zookeeper安装类似,主要是修改配置文件:

broker.id=0        //依次增长的:0、1、2、3、4,集群中唯一id
host.name=192.168.1.100 // 主机ip,分别是101和102
port=9092 //端口号
log.dirs=/opt/kafka/logs  // 日志地址
zookeeper.connect=192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 //zookeeperServers列表,各节点以逗号分开
// 启动kafka
cd /opt/kafka/
bin/kafka-server-start.sh -daemon config/server.properties &

// 可能会有权限不足
chmod +x kafka-server-stop.sh

启动成功后,如本文第一张图所示。

参考文档:
kafka学习 非常详细的经典教程
Kafka教程(二)Kafka集群环境安装

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/tian330726/article/details/79976325

大数据_Kafka_搭建Kafka伪集群(本地集群)

这里假设大家已经装好了Kafka的环境,并对kafka的知识有基本的了解。 下面直接讲解如何搭建一个本地的伪集群:(里面用到了zookeeper 伪集群 ) 搭建Zookeeper伪集群可以参考:ht...
  • u010003835
  • u010003835
  • 2016-08-17 23:43:58
  • 2442

kafka分布式集群搭建

  • 2016年04月27日 10:06
  • 38KB
  • 下载

kafka 伪集群搭建及java代码实现

在搭建kafka 我是花费了一些时间,其实这个并不难,只是我想使用docker 搭建遇到了一些宿主机荷容器通信问题,所以耽误了一段时间。下面我分享的是本地搭建非docker 的Kafka伪集群。主要分...
  • u012373815
  • u012373815
  • 2016-10-07 23:59:17
  • 3278

kafka完全分布式集群搭建-kafka_2.11-0.9.0.1

最近在学习分布式的消息系统kafka,特此记录搭建kafka集群过程。 版本:kafka_2.11-0.9.0.1 环境: VM搭建的三个虚拟机,均采用centos-6.8-64.iso 机器IP与名...
  • sand_clock
  • sand_clock
  • 2017-03-28 11:03:17
  • 3075

zookeeper+kafka集群搭建

基本环境:操作系统 : ubuntu-16.04.2 jdk : jdk1.8.0_144 zookeeper : zookeeper3.4.6 kafka : kafka_2.12-0.11....
  • a807557328
  • a807557328
  • 2017-10-18 15:03:48
  • 361

kafka 集群搭建过程及搭建问题处理

文章目录1、Kafka 简介 2、Zookeeper 集群搭建 3、Kafka 集群搭建 4、Kafka 集群搭建问题记录 1、Kafka 简介 Kafka是一个消息系统,由LinkedIn贡献...
  • raoping2017
  • raoping2017
  • 2017-05-02 22:14:49
  • 315

Kafka集群搭建 以及命令

好久没有写博客了 有点懒 赶紧补一下 Kafka集群 搭建 测试机 三个节点 hadoop1 hadoop2 hadoop3 这三个节点 安装了独立的zookeeper 且我其他...
  • hr787753
  • hr787753
  • 2018-01-05 09:25:07
  • 163

Kafka之——集群搭建

一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 serve...
  • l1028386804
  • l1028386804
  • 2017-10-28 13:00:26
  • 616

kafka集群环境搭建

今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看  http://blog.csdn.net/ch717828/article/detai...
  • ch717828
  • ch717828
  • 2016-02-26 13:10:05
  • 3566

Kafka集群配置---Windows版

Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,Kafka对消息进行保存时是通过tipic进行分组的。今天我们仅实现Kafka集群的配置。理论的抽空在聊 前言 最近研究kafka,发...
  • u013132051
  • u013132051
  • 2017-04-10 11:06:02
  • 3038
收藏助手
不良信息举报
您举报文章:Kafka本地集群搭建
举报原因:
原因补充:

(最多只允许输入30个字)