流计算
文章平均质量分 56
surfirst
长期就职于全球化的公司团队。领导的团队是公司第一个转型为敏捷开发模式的团队,成功推动整个部门转型为敏捷开发模式。协调全球架构师,共同构建公司的参考架构。持续的创新者,拥有6项美国专利,为树立中国团队的创新形象建立基础。
展开
-
流式计算关于数据时间的3个重要概念
从数据的产生到数据被处理有三个重要的时间节点,搞清楚这这三个时间节点,形成关于它们的概念,了解它们之间的关系,对帮助开发者编写正确的数据处理逻辑程序至关重要。Event Time事件时间,也就是数据发生的时间,比如电表在某个时间点上的读数,交通工具在某个时点上的位置和速度等。事件时间由传感器提供,它早于处理数据的程序拿到它的时间。在做差值计算时,开发者应该使用事件时间,而不是数据处理程序拿到数据的时间,才能获得正确的差值计算结果。Digestion Time采集时间,指的是数据被传入消息队列等数据采原创 2021-11-13 11:50:00 · 947 阅读 · 0 评论 -
Flink: 如何使用 docker-compose 来启动和测试服务?
Apache Flink 是一款著名的流式计算引擎,但是它的使用 docker-compose 的教学文档写得不是很清晰,导致我花了几个小时才搞明白如何使用 docker-compose 来运行例子程序。为了让大家不再重蹈覆辙,我记录下下面的方法供大家入门。运行 session-cluster文档中推荐了 application cluster 和 session cluster。 Application cluster 用于专门跑某个程序,配置较为复杂。我推荐大家使用 session cluster原创 2021-10-24 21:36:54 · 6695 阅读 · 1 评论 -
Kafka 流式计算工具 ksqlDB 笔记:Pull Query 的用途及特性
ksqlDB 是学习和开发 kafka 流式计算的很方便的工具。它支持 Push Query 和 Pull Query。下面是一些 Pull Query 的测试。测试对象我建立了下面的 stream 作为测试对象:CREATE OR REPLACE STREAM tagvalue (tagId INT, value DOUBLE) WITH (kafka_topic='tagvalue', value_format='json', partitions=1);插入数据INSERT INTO原创 2021-10-17 21:15:22 · 489 阅读 · 0 评论 -
KSQLDB: Invalid config variable(s) in the WITH clause: KEY
根据 ksqlDB 的文档,创建一个带主键的 stream 语法如下:CREATE OR REPLACE STREAM tagvalue (tagId INT, value DOUBLE) WITH (kafka_topic='tagvalue', key='tagId', value_format='json', partitions=1);但是运行后,会看到以下错误:Invalid config variable(s) in the WITH clause: KEY这是因为 ksqlDB原创 2021-10-17 18:41:48 · 603 阅读 · 0 评论