队列
文章平均质量分 95
代码编制世界
大数据
展开
-
kafka(三)kafka steaming high-level api
接上一篇文章 https://blog.csdn.net/qq_44962429/article/details/1138099111、 high level apiKafka Streams DSL(Domain Specific Language)构建于Streams Processor API之上。它是大多数用户推荐的,特别是初学者。大多数数据处理操作只能用几行DSL代码表示。在 Kafka Streams DSL 中有这么几个概念KTable、KStream和GlobalKTableKStr原创 2021-02-22 17:15:56 · 308 阅读 · 0 评论 -
kafka(二)幂等性、事务、kafka Streaming
1、kafka生产批(优化)producer会尝试缓冲record,实现批量发送,通过以下配置控制发送时机。batch.size:当多条消息发送到一个分区时,生产者会进行批量发送,这个参数指定了批量消息的大小上限(以字节为单位)。linger.ms:这个参数指定生产者在发送批量消息前等待的时间,当设置此参数后,即便没有达到批量消息的指定大小,到达时间后生产者也会发送批量消息到broker。properties.put(ProducerConfig.BATCH_SIZE_CONFIG,2048);原创 2021-02-14 18:55:03 · 343 阅读 · 0 评论 -
kafka(一)基本概念、集群搭建及API使用及框架整合
官网:http://kafka.apache.org/1、kafka概念及原理Apache Kafka® is a distributed streaming platform——分布式的流数据平台1.1 kafak简介kafka具备三项关键能力:①发布、订阅记录流,类似于消息队列或者企业级消息系统。②以一种容错持久化的方式存储记录流(默认可以保存7天)。③实时处理加工流数据(kakfa streaming)。kafka的应用场景:①构建实时的流数据管道,可靠的在系统和应用之间获取数据。原创 2021-02-10 10:34:03 · 382 阅读 · 2 评论