win10安装kafka kafka_2.13-2.8.1

上期回顾

特别篇:java实现将视频分片上传到minio(二):视频文件写入到minio:
视频分片

实现想法

公司有个需求，将收到的数据写到阿里oss，然后将阿里oss图片地址和缩略图地址写到kafka中。
这一期我们先安装kafka

kafka安装

下载kafka

kafka_2.13-2.8.1.rar 安装包。 支持大字符串生产和消费(已修改过配置)

支持大字符串推送到kafka(已修改请忽略)

config/producer.properties
修改max.request.size大小

#10M
max.request.size=10485760

config/server.properties增加配置

#设置zookeeper地址
listeners=PLAINTEXT://你的ip:9092
# 设置了socket server接收的最大请求大小
socket.request.max.bytes=10485760  
# kafka数据文件的大小，确保这个数值大于一个消息的长度。一般说来使用默认值即可（一般一个消息很难大于1G，因为这是一个消息系统，而不是文件系统）。
log.segment.bytes=10485760  
# 设置了kafka server接收的最大消息大小，应小于等于socket.request.max.bytes            
message.max.bytes=10485760             
#每个分区试图获取的消息字节数。要大于等于message.max.bytes，否则broker会接收此消息，但无法将此消息复制出去，从而造成数据丢失。
replica.fetch.max.bytes=10485760      
 #每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytes，否则broker就会因为消费端无法使用这个消息而挂起。   
fetch.message.max.bytes=10485760  

更改config/zookeeper.properties文件夹路径

dataDir=E:\kafka_2.13-2.8.1\logs

启动zookeeper和kafka

启动遇到的问题

原因:文件夹套的太多了。

解决方案:将kafka_2.13-2.8.1放到D盘或E盘文件夹就可以了。不要套太多文件夹

w10启动zookeeper

在kafka_2.13-2.8.1文件夹下进入dos命令行

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

w10启动kafka

在kafka_2.13-2.8.1文件夹下进入dos命令行

.\bin\windows\kafka-server-start.bat .\config\server.properties

java交流群（限订阅了的加）:868794080

源码地址