![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
程序小达人
这个作者很懒,什么都没留下…
展开
-
Kafka学习笔记(6)监控
5.1 Eagle安装1)修改kafka启动命令修改kafka-server-start.sh命令中if["x$KAFKA_HEAP_OPTS" = "x"];then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if["x$KAFKA_HEAP_OPTS" = "x"];then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+uSEg1GC -XX:Max原创 2020-12-15 16:11:41 · 314 阅读 · 0 评论 -
Kafka学习笔记(5)API
Kafka Api4.1 Producer API4.1.1 消息发送流程Kafka的Producer发送消息采用的是异步发送的方式,在消息发送的过程中,涉及到了两个线程main线程和Sender线程,以及一个线程共享变量(RecordAccumulater),main线程将消息发送给RecordAccumulater,Sender线程不断从RecordAccumulater中拉取消息发送到Kafka broker。此处相关的参数:batch.size:只有数据积累到此大小之后,Sender才会原创 2020-12-15 16:10:46 · 135 阅读 · 0 评论 -
Kafka学习笔记(4)深入
4.1 Kafka工作流程Kafka中的消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的topic是逻辑上的概念,而partition是物理上的概念,每个partition对应一个log文件,该log文件中存储的信息就是producer生产的数据,Producer生产的数据会被不断的追加到该log文件末尾,且每条数据都有自己的offset(偏移量),消费者组中的每个消费者,都会实时记录自己消费到那个offset(偏移量),以便出错恢复时,从上次的位置继续消费。4.2原创 2020-12-15 16:08:22 · 162 阅读 · 0 评论 -
Kafka学习笔记(3)入门
3.1 安装\启动\关闭3.1.1集群安装流程:下载:kafka_2.12-2.5.1.tgz下载完毕上传到服务器目录/home/local下解压缩:#cd 到文件目录cd /home/local#解压tar -zxvf kafka_2.12-2.5.1.tgz#修改名称mv kafka_2.12-2.5.1/ kafka修改kafka配置文件cd /home/local/kafka/config/可以看到kafka的配置文件有很多,我们需要改的就是server.propert原创 2020-12-15 16:05:21 · 95 阅读 · 0 评论 -
Kafka学习笔记(2)架构
Kafka架构1)Producer:消息生产者(发布方),就是向kafka broker发送消息的客户端2)Consumer:消息消费者(订阅方),向kafka broker取消息的客户端3)Consumer Group:消费者组,由多个consumer组成,消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费,消费者组之间互不影响,所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者4)Broker:一台kafka服务器就是一个borker,一个集群由多个bo原创 2020-12-15 16:03:58 · 81 阅读 · 1 评论 -
Kafka学习笔记(1)简介
一个分布式的基于发布\订阅模式的消息队列,主要应用与大数据实时处理领域。1.1 消息系统的分类Peer-to-Peer(点对点)一般基于pull或者polling接收消息发送到队列中的消息被一个而且仅一个接收者接收,即使有多个接收者在同一队列中侦听同一消息既支持异步“即发即弃”的消息传送方式,也支持同步请求/应答传送方式发布/订阅发布到一个主题的消息,可被多个订阅者锁接收发布/订阅即可基于push消费数据,也可基于pull或者polling消费数据解耦能力比P2P更强原创 2020-12-15 16:02:15 · 72 阅读 · 0 评论 -
记一次SpringBoot2.x整合Kafka及ProtoBuf实现信息序列化传输
前言ProtoBuf简介protocol buffers 是一种语言无关、平台无关、可扩展的序列化结构数据的方法,它可用于(数据)通信协议、数据存储等。简单来讲, ProtoBuf 是结构数据序列化 方法,可简单类比于 XML,其具有以下特点:语言无关、平台无关。即 ProtoBuf 支持 Java、C++、Python 等多种语言,支持多个平台高效。即比 XML 更小(3 ~ 10倍)、更快(20 ~ 100倍)、更为简单扩展性、兼容性好。你可以更新数据结构,而不影响和破坏原有的旧程序原创 2020-10-28 14:53:20 · 3769 阅读 · 6 评论 -
Docker安装kafka服务器端,记一次liunx服务器下的操作流程
前言安装kafka前提,需要依赖zookper,所以需要先安装 zookperZookeeper安装配置下载最新镜像容器docker pull zookeeper查看本地镜像docker images创建挂载目录运行容器,启动zookeeper服务sudo docker run -itd \-p 12181:2181 \--name zk-service \-v /data/zookeeper/data/:/data/ \-v /data/zookeeper/da原创 2020-10-12 15:12:00 · 302 阅读 · 0 评论