kafka知识

最新推荐文章于 2022-06-01 10:35:01 发布

置顶爱吃鱼的IT工作者

最新推荐文章于 2022-06-01 10:35:01 发布

阅读量298

点赞数 1

分类专栏：中间件文章标签： kafka

本文链接：https://blog.csdn.net/weixin_42618873/article/details/108456586

版权

中间件专栏收录该内容

5 篇文章 1 订阅

订阅专栏

kafka

待整理学习
环境搭建实操（后边写的也不错重点推荐，看不懂先看基础记得回头看）

在这里插入图片描述

kafka学习笔记（图来自此篇重点推荐阅读）

kafka学习笔记

kafka架构组件核心概念（参考博客也不错）

可以抽空学习一下每个参数配置的意义，这样对于后期的调优会事半功倍

解决问题修改参数配置的例子

++++++++++++++++++++++++++++++++++++++++++
写的真不错

java操作kafka集群（消息的发送和接收）

Java实现Kafka的生产者和消费者

java操作kafka

Java操作kafka
+++++++++++++++++++++++++++++++++++++++++
windows下搭建kafka集群
搭建参考博客
 下载地址
在这里插入图片描述

 ZK下载地址

在这里插入图片描述

测试效果图：

在这里插入图片描述

Linux下搭建kafka和zookeeper集群

第一步：准备kafka下载包和zookeeper下载包
见上文
第二步：搭建jdk环境
安装jdk1.8

yum install -y java-1.8.0-openjdk-devel.x86_64

默认jre jdk 安装路径是/usr/lib/jvm 下面

配置环境变量 vi /etc/profile

#加入配置

java配置：（注意此处要和安装的版本一致）
在这里插入图片描述

zookeeper配置：

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.6.2-bin export
PATH= $P A T H :$ ZOOKEEPER_HOME/bin

kafka配置：

export KAFKA_HOME=/usr/local/kafka_2.12-2.6.0 export PATH= $P A T H :$ KAFKA_HOME/bin

查看是否安装成功： java -version

第三步：关闭防火墙
windows无法访问虚拟机中的项目？

解决方法：关闭防火墙，然后重启虚拟机

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
参考博客

第四步：上传压缩包
注：xshell链接服务器rz sz命令无效？
解决方法：yum -y install lrzsz

进入到安装目录

cd /usr/local

#上传压缩包

rz
#然后选中下载的压缩包

#解压

tar zxvf apache-zookeeper-3.5.5-bin.tar.gz

开始配置集群服务：

#进入配置文件夹目录

cd apache-zookeeper-3.5.5-bin/conf/

#复制一份自带的配置文件，改名为zoo.cfg，启动默认使用这个配置文件

cp zoo_sample.cfg zoo.cfg

红框中都是新增或修改的地方,需要在dataDir所指向的位置修改为加压的zookeeper路径，在创建一个data文件夹，若不创建就以zookeeper文件夹为data；还有DataLogDir所指向的地方创建一个logs文件夹，这个文件夹不创建也可以，启动后会自动创建；
在这里插入图片描述

其中server.1、2、3所指的是集群所在的服务器地址，包括本机有3台，server.
后面的数字标识只要不重复就行，所对应的数字要在data中创建一个名叫myid的文件把数字写到里面（dataDir不创建的在zookeeper问价夹下创建myid文件）。本机的ip是192.168.50.132
所对应的是server.1，所以myid中需要输入1；