Kafka
关注
分享
扫一扫
Kafka
猫巳
2006年《时代周刊》年度人物
2008年“感动中国年度人物”特别奖获得者
2019年度“地球卫士奖”联合获奖人
2020年感动中国特别致敬奖——抗疫英雄
2022年”奥林匹克奖杯“获奖者
展开
-
【Kafka】数据管道和流式处理（了解即可）
kafka_2.11-0.10.1.1jdk 1.8数据管道基本概念在使用Kafka 构建数据管道时，通常有两种使用场景： 第一种，把Kafka 作为数据管道的两个端点之一，例如，把Kafka 里的数据移动到云上，或者把Mongo DB 里的数据移动到Kafka 里；第二种，把Kafka 作为数据管道两个端点的中间媒介，例如...原创 2019-06-19 14:42:42 · 833 阅读 · 0 评论 -
【Kafka】创建一个Kafka程序
kafka_2.11-0.10.1.1jdk 1.8创建我们的主题kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 4生产者发送消息必选属性创建生...原创 2019-06-19 10:19:46 · 305 阅读 · 0 评论 -
【Kafka】Kafka的安装、管理和配置
kafka_2.11-0.10.1.1jdk 1.8安装预备环境Kafka是Java生态圈下的一员，用Scala编写，运行在Java虚拟机上，所以安装运行和普通的Java程序并没有什么区别。安装Kafka官方说法，Java环境推荐Java8。Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会...原创 2019-06-19 09:56:38 · 368 阅读 · 0 评论 -
【Kafka】Kafka的消费者
kafka_2.11-0.10.1.1jdk 1.8消费者和消费者群组、分区再均衡消费者的含义，同一般消息中间件中消费者的概念。在高并发的情况下，生产者产生消息的速度是远大于消费者消费的速度，单个消费者很可能会负担不起，此时有必要对消费者进行横向伸缩，于是我们可以使用多个消费者从同一个主题读取消息，对消息进行分流。消费者群...原创 2019-06-19 13:36:30 · 325 阅读 · 0 评论 -
【Kafka】Kafka的生产者
kafka_2.11-0.10.1.1jdk 1.8生产者发送消息的基本流程从创建一个ProducerRecord 对象开始， Producer Record 对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送ProducerReco rd 对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网...原创 2019-06-19 13:13:04 · 208 阅读 · 0 评论 -
【Kafka】Kafka的集群
kafka_2.11-0.10.1.1jdk 1.8为何需要Kafka集群本地开发，一台Kafka足够使用。在实际生产中，集群可以跨服务器进行负载均衡，再则可以使用复制功能来避免单独故障造成的数据丢失。同时集群可以提供高可用性。如何估算Kafka集群中Broker的数量要估量以下几个因素：需要多少磁盘空间保留数据，和每个b...原创 2019-06-19 10:15:21 · 209 阅读 · 0 评论 -
【Kafka】Kafka入门
kafka_2.11-0.10.1.1jdk 1.8什么是Kafkakafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是，LinkedIn虽然有了数据库和其他系统可以用来存储数据，但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上，开发者不想只是开发一个能够存储数据的系统，如关系数据库、Nosql数...原创 2019-06-19 09:40:19 · 369 阅读 · 0 评论 -
【Kafka】SpringBoot和Kafka的整合
kafka_2.11-0.10.1.1jdk 1.8spring-kafka 1.1.5.RELEASE目录结构在pom.xml引入<dependency> <groupId>org.springframework.kafka</groupId> <artifactId...原创 2019-06-19 14:11:17 · 212 阅读 · 0 评论 -
【Kafka】Spring和Kafka的整合
kafka_2.11-0.10.1.1jdk 1.8spring-kafka 1.1.5.RELEASE目录结构在pom.xml引入pom.xml<dependency> <groupId>org.springframework.kafka</groupId> <art...原创 2019-06-19 14:02:19 · 374 阅读 · 0 评论 -
【Kafka】可靠的数据传递
kafka_2.11-0.10.1.1jdk 1.8Kafka提供的可靠性保证和架构上的权衡可靠性时，我们一般会使用保证这个词，它是指确保系统在各种不同的环境下能够发生一致的行为。ACID 大概是大家最熟悉的一个例子，它是关系型数据库普遍支持的标准可靠性保证。ACID 指的是原子性、一致性、隔离性和持久性。如果一个供应商说...原创 2019-06-19 14:34:30 · 368 阅读 · 0 评论 -
【Kafka】深入理解Kafka
kafka_2.11-0.10.1.1jdk 1.8集群的成员关系Kafka使用 zookeeper来维护集群成员的信息。每个 broker都有个唯一标识符, 这个标识符可以在配置文件里指定, 也可以自动生成。 在 broker启动的时候, 它通过创建临时节点把自己的 ID注册到 zoo-keeper。 Kafka组件订阅 ...原创 2019-06-19 14:25:02 · 162 阅读 · 0 评论