Kafka
Regan_Hoo
这个作者很懒,什么都没留下…
展开
-
Kafka_集群搭建
一、 搭建Kafka集群解压kafka压缩包tar -xzvf kafka_2.11-0.9.0.1.tgz修改config中的service.properties配置文件#当前机器在集群中的唯一标识,和zookeeper的myid性质一样broker.id=1#当前kafka对外提供服务的端口默认是9092port=19092#这个参数默认是关闭的,在0.8.1有个bug,DNS解析问题,失败原创 2017-12-06 16:09:41 · 415 阅读 · 0 评论 -
Kafka_集群特性
集群概述 Kafka集群具有横向扩展、变态快,大吞吐量、内置分区、副本、故障转移等特点。同时,Kafka是一个非常高性能的存储系统。写入到kafka的数据将直接写到磁盘并复制到集群中保证容错性。并允许生产者等待消息应答,直到消息完全写入。client来控制读取数据的位置。可以认为kafka是一种专用于高性能,低延迟,提交日志存储,复制,和传播特殊用途的分布式文件系统。kafka集群最好部署在相同局原创 2017-12-11 09:50:03 · 764 阅读 · 0 评论 -
Kafka_流
Kafka streams核心概念时间: 时间在流中的常见概念如下: ·事件时间 - 当一个事件或数据记录发生的时间点,就是最初创建的“源头”。 ·处理时间 - 事件或数据消息发生在流处理应用程序处理的时间点。即,记录已被消费。处理时间可能是毫秒,小时,或天等。比原始事件时间要晚。 ·摄取时间 - 事件或数据记录由Kafka broker存储在topic分区的时间点。与事件时间的差异是,当记原创 2017-12-11 10:06:33 · 807 阅读 · 0 评论 -
Kafka_认证加密
一、使用SSL加密和认证为每个Kafka broker生成SSL密钥和证书。 部署HTTPS,第一步是为集群的每台机器生成密钥和证书,可以使用java的keytool来生成密钥到一个临时的密钥库,之后可以导出并用CA签名它。keytool -keystore server.keystore.jks -alias localhost -validity {validity} -genkeykey原创 2017-12-11 10:21:44 · 3217 阅读 · 0 评论 -
Kafka_生产者、消费者、流API
生产者客户端API Properties props = new Properties(); props.put("bootstrap.servers", "192.168.6.187:9092,192.168.6.188:9092,192.168.6.229:9092"); props.put("acks", "all"); props.put("retries", 0); props.p原创 2017-12-06 14:47:14 · 581 阅读 · 0 评论 -
Kafka_Shell命令
检查消费者位置bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group列出所有topic中的所有用户组:bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092原创 2017-12-06 15:20:08 · 1485 阅读 · 0 评论 -
Kafka_基础和架构
一、架构1、Kafka集群架构 多个 broker 协同合作,producer 和 consumer 部署在各个业务逻辑中,三者通过 zookeeper管理协调请求和转发。 2、Kafka Stream架构 Kafka Streams通过生产者和消费者,并利用kafka自有的能力来提供数据 平行性,分布式协调性,故障容错和操作简单性: 3、Kafka stream处理拓扑 ①流是Kaf原创 2017-12-07 17:16:12 · 437 阅读 · 0 评论