java的流间隔问题,java—如何创建一个假数据流,以一定的时间间隔进入Apache Beam pipeline ?...

我正在尝试创建一个小型的apachebeam流程序来 test想法,我认为对于我来说,获取数据最简单的方法就是使用像创建.of制造假数据。这样,我就不必设置比需要更多的内容,比如设置一个GCP发布/订阅主题作为源并发布给它。

问题是我想尝试一些基于时间的东西,比如打开窗口,使用状态和计时器。我能把这些放在一起:

public class TestPipeline {

public static void main(String[] args) {

PipelineOptions options = PipelineOptionsFactory.create();

Pipeline p = Pipeline.create(options);

p.apply(Create.of(1, 2, 3))

.apply(ParDo.of(new DoFn<Integer, String>() {

@ProcessElement

public void processElement(ProcessContext c) {

c.output(c.element().toString());

}

}))

.apply(TextIO.write().to("myfile.txt"));

p.run().waitUntilFinish();

}

}

这实现了我在 pipeline 开始时发送三个数据段的目标,但它同时发送了所有数据。我希望我可以设置它每10秒发送一条数据,等等。

我从Apache Flink学习了这个教程(https://ci.apache.org/projects/flink/flink-docs-release-1.10/getting-started/walkthroughs/datastream_api.html)这是我努力完成的一个例子。我在那篇教程中深入研究了代码,但我无法确切地找出Flink框架的哪一部分促成了这一点。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值