![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 79
weixin_40455124
这个作者很懒,什么都没留下…
展开
-
ksqldb server cluster docker-compose模式安装
restart ksqldb-server2前。restart ksqldb-server2后。在ksql执行select 也能看见不同。基本按官方文档来进行。原创 2022-09-17 23:06:54 · 750 阅读 · 0 评论 -
KSQL DB 学习笔记2
Push a continuous stream of updates to the ksqlDB stream or table. The result of this statement isn’t persisted in a Kafka topic and is printed out only in the console, or returned to the client. To stop a push query started in the CLI press Ctrl+C. 参考。原创 2022-09-16 21:56:20 · 757 阅读 · 0 评论 -
KSQL DB 学习笔记1
可以将Kafka Connect(比如连接到PG、ElasticSearch)与ksql DB直接结合起来,通过sql模式读取、写入数据到外部。Primary key constraints(table 必须有PK,不能有KEY)Stream ,Table,Window这些核心概念在KSQL也一样存在。PS :UI 好像没有开源,也找不到对应docker image。KsqlDB Server 提供rest接口提供对外访问。官网:ksqldb.io。原创 2022-09-15 23:11:45 · 736 阅读 · 0 评论 -
Kafka Stream 学习笔记-5 process api
Wall clock time:无论有无新record都会执行,This means periodic functions will continue to execute regardless of whether or not new messages arrive.aggregate类函数不带默认state store,需要指定materialized,即state store,stream/topology指定state store。DSL 无法实现,只能在process api实现。原创 2022-09-15 08:11:13 · 236 阅读 · 0 评论 -
Kafka Stream 学习笔记-4 window and state store
默认存放方式:both in-memory and persistent state stores,persistent 使用rockdb模式存放到disk,disk存放路径:setting the StreamsConfig.STATE_DIR_CONFIG property。还可以使用LogAndSkipOnInvalidTimestamp,在init的时候通过prop DEFAULT_TIMESTAMP_EXTRACTOR_CLASS_CONFIG指定extractor类。原创 2022-09-15 07:46:36 · 392 阅读 · 0 评论 -
Kafka Stream 学习笔记-3 DSL‘s stateless stateful
默认 Embedded:The default state store implementations that are included in Kafka Streams are embedded within your Kafka Streams application at the task level。Stream (window模式下)在内存中保留数据大小和数据满后的处理策略,可以通过Buffer来设置。serdes 其实就是序列/反序列类的集合体,可以通过。转换为kStream。原创 2022-09-12 20:41:15 · 328 阅读 · 0 评论 -
Kafka Stream 学习笔记-2 使用Avro 协议
在 confluentinc/cp-schema-registry:6.0.0 的image中有如下命令。和下面useSchemaRegistry 分支 进行注册使用。Avro 协议可以提升转换效率,本质是kafka就支持。以上代码的else 是非registry模式,使用来自。原创 2022-09-12 18:17:05 · 430 阅读 · 0 评论 -
Kafka Stream 学习笔记-1
默认Stream 会创建很多topic 来支持repartition、group、map、job、changlog(state store)等操作。kafka stream是一个客户端,因此扩容和HA都需要自行管理,优点是只依赖kafka,但也只能支持kafka,不支持其他消息系统。DSL 相对高级、Process API更底层,一般使用DSL就可以,但定时操作只有Process API支持。Dzone 与flink的 比较。State Store 可以自定义。原创 2022-09-12 17:07:32 · 271 阅读 · 0 评论 -
kafka 2.8.x学习笔记-多租户、安全和其它
多租户实现kafka没有体系化的租户管理,但可以通过一些手段进行用户和topic管理实现部分租户能力Creating user spaces for tenants (sometimes called namespaces)通过ACL控制用户只能访问指定前缀的topic通过自定义CreateTopicPolicy/AlterConfigPolicy (cf. KIP-108 and the setting create.topic.policy.class.name)强制用户只能创建符合前缀原创 2022-03-12 13:06:33 · 7930 阅读 · 0 评论 -
kafka server/broker学习
总体图时间轮但task不在第一轮范围距离该任务的到期时间还有45ms,不能执行任务。我们将其重新提交到层级时间轮中,此时第一层时间轮跨度依然不够,但是第二层时间轮的跨度足够,该任务会被放到第二层时间轮第三个时间格中等待执行。如此往复几次,高层时间轮的任务会慢慢移动到低层时间轮上,最终任务到期执行。SystemTimer是Kafka中的定时器实现,它在TimeWheel的基础上添加了执行到期任务、阻塞等待最近到期任务的功能。Kafka使用DelayedOperation抽象类表示延迟操作,它对原创 2022-03-11 22:46:51 · 1406 阅读 · 0 评论 -
kafka 2.8.X学习笔记-文件、jvm、环境、ZK数据和事务
文件数据目录message文件以*.log 保存每个log文件对应.index,.timeindex文件每个partition对应一个目录可以配置多个root dir,每次新建选择partition最少的root dir其它文件checkpoint相关文件meta.propertiesindex稀疏索引,不保障每个消息都有对应索引项l- og.index.interval.bytes 大小决定稀疏密度索引文件为预先分配空间,log文件不是文件分段参数log.ind原创 2022-03-11 22:41:27 · 1948 阅读 · 0 评论 -
kafka 2.8.X 学习 producer、consumer、主题和分区
Producer总体结构发送过程直接与具体broker连接进行消息发送分区器,默认使用DefaultPartitioner:有key默认使用hash,除修改分区数量是,可以保证相同key在一个分区;没有key,通过计数%分区数进行循环发送。业务线程通过KafkaProducer.send()方法不断向RecordAccumulator追加消息,当达到一定的条件,会唤醒Sender线程发送RecordAccumulator中的消息。KafkaProduce为线程安全,consumer才是非线程原创 2022-03-11 21:56:04 · 1973 阅读 · 0 评论