大数据同盟会的博客

一、flink分析结果写入redis1、下载link-hadoop整合包，放入所有节点2、KafkaToRedisWordCountpackage cn._51doit.flink.day08;import cn._51doit.flink.day02.RedisSinkDemo;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.serializatio

一、State的存活时间任何的keyed state都有存活时间，如果配置了TTL;，且状态值已过期，会尽大可能清除对应的值。1、设置ValueState存活时间package cn._51doit.flink.day08;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.RichMapFunction;import org.apac

一、

一、概念理解1、State状态Flink实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来，这些中间数据就叫做State。2、StateBackEnd用来保存State的存储后端就叫做StateBackEnd，默认是保存在JobManager的内存中，也可以保存的本地文件系统或HDFS这样的分布式文件系统3、CheckPointingFlink实时计算为了容错，可以将中间数据定期保存到起来，这种定期触发保存中间结果的机制叫CheckPointing二、重启策略

一、开启新链package cn._51doit.flink.day05;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tu

1、将两个流中的数据进行join处理package cn._51doit.flink.day05;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple3;import org.apache.flink.api.java.tuple.Tup

一、分区1、rebalance轮询分区package cn._51doit.flink.day03;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.common.functions.RuntimeContext;import org.apache.flink.configuration.Configuration;import org.apache.flink.s

一、分区1、rebalance分区

一、source分类单并行的Source直接实现了SourceFunction接口1、socketTextStream("localhost", 8888)2、fromCollection(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10))3、fromElements(1,2,3,4,5,6,7,8,9,10,11,12) 多并行的Source实现ParallelSourceFunction接口4、generateSequence(1, 100)

flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境中，对各种大小的数据规模进行快速计算。