Kafka
doubicheng
这个作者很懒,什么都没留下…
展开
-
Kafka_learn(四)
(1)消息队列Kafka有了解吗? 答:Kafka是一个消息队列,可以实现发布订阅模式,在异步通信或者生产者和消费者需要解耦合的场景中经常使用,可以对数据流进行处理等。 Kafka的特性如下所示: Kafka支持消息的快速持久化 支持批量读写消息 支持消息分区,并且支持在线增加分区,提高了并发能力 支持为每个分区创建多个副本 Kafka可以实现消息的快速持久化的原因: KafKa将消息保存在磁盘中,并且读写磁盘的方式是顺序读写,避免了随机读写磁盘(寻道时间过长)导致的性能瓶颈。 磁盘的.转载 2020-08-24 20:11:27 · 241 阅读 · 0 评论 -
Kafka_learn(三)
Kafka作为消息系统 Kafka streams的概念与传统的企业消息系统相比如何? 传统的消息系统有两个模块:队列和发布-订阅。 在队列中,消费者池从server读取数据,每条记录被池子中的一个消费者消费; 在发布订阅中,记录被广播到所有的消费者。两者均有优缺点。 队列的优点在于它允许你将处理数据的过程分给多个消费者实例,使你可以扩展处理过程。 不好的是,队列不是多订阅者模式的—一旦一个进程读取了数据,数据就会被丢弃。 而发布-订阅系统允许你广播数据到多个进程,但是无法进行扩展处理,因为每条消...转载 2020-08-24 20:11:42 · 82 阅读 · 0 评论 -
Kafka_learn(二)
Topics和日志 让我们首先深入了解下Kafka的核心概念:提供一串流式的记录— topic 。 Topic 就是数据主题,是数据记录发布的地方,可以用来区分业务系统。Kafka中的Topics总是多订阅者模式,一个topic可以拥有一个或者多个消费者来订阅它的数据。 对于每一个topic, Kafka集群都会维持一个分区日志,如下所示: 每个分区都是有序且顺序不可变的记录集,并且不断地追加到结构化的commit log文件。分区中的每一个记录都会分配一个id号来表示顺序,我们称之为offse转载 2020-08-24 20:12:02 · 131 阅读 · 0 评论 -
Kafka_learn(一)
1. 入门 1.1 介绍 Apache Kafka® 是一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录,并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka适合什么样的场景? 它可以用于两大类别的应用: 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或者影响.转载 2020-08-24 20:12:12 · 157 阅读 · 0 评论 -
java学习(七)
1、什么是CAP理论? CAP理论是指当网络分区发生时,一致性和可用性不可能同时保证。 C:Consistent 一致性 A:Availability 可用性 P:Partition tolerance 分区容忍度 网络分区:分布式系统的节点往往都是分布在不同的机器上进行网络隔离开的,这意味着必然会有网络断开的风险,网络断开也就意味着发生了网络分区。 最终一致性:Redis可以保证最...原创 2020-01-31 14:17:22 · 157 阅读 · 0 评论