weixin_39150719的博客

所需要的pom.xml(根据自己版本来进行修改)<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.7.2</flink.version> <slf...

redis中的数据：需要实现SourceFunction接口，指定泛型<>,也就是获取redis里的数据，处理完后的数据输入的数据类型 这里我们需要的是（我们需要返回kv对的，就要考虑HashMap）Java代码：package ryx.source;import org.apache.flink.streaming.api.functions.source.Source...

这是广播变量的学习： package batch; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.api.java....

不多bb!先看RedisCommand设置数据结构类型时和redis结构对应关系。Data TypeRedis Command [Sink]HASHHSETLISTRPUSH, LPUSHSETSADDPUBSUBPUBLISHSTRINGSETHYPER_LOG_LOGPFADDSORTED_SETZADDSORTE...

自己定义一个分区类，需要自己实现一个Partitione接口 ！（泛型最好写上）import org.apache.flink.api.common.functions.Partitionerpublic class MyPartition implements Partitioner<Long> { public int partition(Long key, int n...

自己定义一个多并行度的source，需要自己实现一个ParallelSourceFunction接口import org.apache.flink.streaming.api.functions.source.ParallelSourceFunction; /** * interface ParallelSourceFunction<OUT> extends So...

java代码实现案例自己定义一个单并行度的source，需要自己实现一个SourceFunction接口 ！import org.apache.flink.streaming.api.functions.source.SourceFunction; /** * 自己定义一个单并行度的source * 需要自己实现一个SourceFunction接口 * */publi...

下载地址：wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.0/flink-1.9.0-bin-scala_2.11.tgz结果：Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|101.6.8.193|:80… ...

Flink的流处理与批处理Flink通过执行引擎，能够同时支持批处理与流处理任务。在执行引擎这一层，流处理系统与批处理系统最大的不同在于节点的数据传输方式。流处理系统对于一个流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理。批处理系统而对于一个批处理系统，其节点间数据传输的模型是：当一条...