Kafka
文章平均质量分 81
FOX有爱
这个作者很懒,什么都没留下…
展开
-
Kafka的配置文件说明
目录Server.properties配置文件说明producer生产者配置文件说明consumer消费者配置详细说明Server.properties配置文件说明#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,producer或consumer将在此端口建立连接port=9092#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8原创 2022-05-29 08:40:45 · 502 阅读 · 0 评论 -
Kafka当中的数据不丢失机制
生产者生产数据不丢失生产者数据不丢失过程图说明:有多少个分区,就启动多少个线程来进行同步数据发送数据方式可以采用同步或者异步的方式-过程图可以采用同步或者异步的方式同步:发送一批数据给kafka后,等待kafka返回结果1、生产者等待10s,如果broker没有给出ack相应,就认为失败。2、生产者重试3次,如果还没有响应,就报错异步:发送一批数据给kafka,只是提供一个回调函数。1、先将数据保存在生产者端的buffer中。buffer大小是2万条原创 2022-05-29 08:35:10 · 230 阅读 · 0 评论 -
Kafka的log存储以及查询机制
kafka中log日志目录及组成kafka在我们指定的log.dir目录下,会创建一些文件夹;名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下,会有两个文件存在,如下所示:#索引文件00000000000000000000.index#日志内容00000000000000000000.log在目录下的文件,会根据log日志的大小进行切分,.log文件的大小为1G的时候,就会进行切分文件在kafka的设计中,将offset值作为了文件名的一部分原创 2022-05-29 08:26:06 · 1351 阅读 · 0 评论 -
Kafka的JavaAPI操作
1、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav.原创 2022-05-29 07:43:51 · 1636 阅读 · 0 评论 -
Kafka集群环境搭建
目录一、初始化环境准备二、下载安装包并上传解压三、node01服务器修改kafka配置文件四、安装包分发到其他服务器上面去五、node02与node03服务器修改配置文件六、kafka集群启动与停止一、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动二、下载安装包并上传解压通过以下地址进行下载安装包node01执行以下命令,下载并解压cd /export/softwareswget http://archive.apache.o原创 2022-05-23 22:58:11 · 616 阅读 · 0 评论 -
Kafka 认证登录注意事项
最近,在写关于Kafka的消费端代码,发现若要消费,需要登录的时候,对对端Kafka服务进行认证,研究了一番,以下将代码放出来参考了文章Kafka配置安全认证_月下茶凉的博客-CSDN博客_kafka安全认证Kafka配置安全认证提示:本人提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人原创 2022-05-18 22:08:20 · 1110 阅读 · 0 评论 -
Kafka 简单介绍
1、消息队列的介绍消息(Message)是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,这样发布者和使用者都不用知道对方的存在2、常用的消息队列介绍2.1、RabbitMQRabbitMQ 2007年发布,是一个在AMQP(高级消息原创 2022-05-10 23:23:34 · 2236 阅读 · 0 评论