大数据
文章平均质量分 92
冯子玉
喜欢学习一切有趣的东西
展开
-
Flink原理解析
1.Flink是什么Flink是新一代分布式流式计算引擎,用于对海量数据进行实时处理和计算,具备快速容错(支持每条消息恰好处理一次)、流批一体、低延时、支持数据乱序的特点。 Flink的主要应用场景如下:数据分析场景:流式计算平台相对于传统的基于批的计算平台具备最大优点就是实时性,典型的应用场景就是淘宝的双十一大屏和一些实时性要求比较高的数据看班事件驱动场景:相比于MetaQ或其他消息队列,Flink可以基于Flink Sql或者其他API进行一些复杂的计算或者过滤操作,比如基于用户行为原创 2021-10-29 09:53:50 · 4313 阅读 · 0 评论 -
在java代码中运行spark任务报异常org.apache.spark.SparkException: Task not serializable
运行如下java程序代码会报未序列化的异常import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;impo...原创 2019-01-31 11:16:21 · 2528 阅读 · 1 评论