kafka
文章平均质量分 77
一撸向北
啊哈哈,咦嘿嘿,哦呵呵。
展开
-
kafka的工作原理分析(一)
一、kafka中的topic与partition分区首先需要了解kafka中基本的组成部分。在 kafka 中, topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个topic。物理上来说,不同的 topic 的消息是分开存储的,每个 topic 可以有多个生产者向它发送消息,也可以有多个消费者去消费其中的消息;partition分区...原创 2018-08-15 17:26:21 · 18203 阅读 · 1 评论 -
kafka的工作原理分析(二)
一、消费者消费消息offset存储kafka的所有消息都是持久化存储在broker上的,消费者每次消费消息是如何知道获取哪一条呢?kafka提供一个专门的tipic存储每个consumer group的消费消息的offset,offset保证消息在分区内部有序,所以每次消费者都可以知道自己要从哪一条消息开始消费。__consumer_offsets_* 的一个topic ,把 offset 信...原创 2018-08-15 17:27:11 · 1872 阅读 · 0 评论 -
kafka安装与集群配置
kafka简介 Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。使用Scala语言进行编写,提供了与JMS规范类似的特性,但是编写上并不是jms实现。kafka中只有topic的概念,没有队列。kafka的应用场景 kafka 具有高吞吐量、具有分区特性、副本机制及容错性的优点(kafka 每秒可以处理几十万消息),让 kafka 成为了...原创 2018-08-13 23:46:34 · 601 阅读 · 0 评论 -
kafkaAPI使用以及常用配置介绍
这篇文章主要介绍kafka中JAVA API的使用,这里面为了介绍配置,所以使用的是原生的javaapi操作,kafka可以与spring通过xml配置集成,或者更加简单通过spring boot引入starter,通过(AutoConfiguration)自动配置完成集成。但其实无论何种使用方式,其根本都是使用原生pai进行操作。使用maven依赖管理,引入kafka依赖 <...原创 2018-08-14 01:03:10 · 2839 阅读 · 0 评论 -
kafka的工作原理分析(三) -- 高可用副本机制
一、副本机制简介在kafka中,topic是可以拆分为多个分区进行存储数据的,每个分区存储的数据都是不一样的。在kafka的集群环境下,为了避免出现单节点宕机导致的数据丢失迭代情况,kafka提供了一种分区数据的副本机制,保证在某个分区的读写节点宕机时,数据不会丢失。bin/kafka-topics.sh --create --zookeeper 192.168.0.15:2181 --r...原创 2018-08-16 18:08:50 · 3063 阅读 · 1 评论 -
spring boot整合kafka+注解方式
spring boot自动配置方式整合spring boot具有许多自动化配置,对于kafka的自动化配置当然也包含在内,基于spring boot自动配置方式整合kafka,需要做以下步骤。引入kafka的pom依赖包<!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka --&...原创 2018-12-19 00:19:18 · 22426 阅读 · 0 评论