Demo
韩运畅
这个作者很懒,什么都没留下…
展开
-
SparkDemo--WordCount原生
任务总体逻辑 这是一个典型的WordCount,word来自于任务配置的输入参数,可输入多个word, 计算出<word,出现的次数>,然后将结果输入到mysql的spark_demo表中。 任务配置情况 任务执行结果 主类的代码解读 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import原创 2020-07-06 19:13:10 · 157 阅读 · 0 评论 -
FlinkDemo--使用优先队列分组求Top5
任务总体逻辑 先是一个实时采集任务,数据从mysql数据库的yhzq_result4表同步到kafka的 topic_dtstack_05 中,然后是一个flink原生任务,对kafka中的数据分组求Top5,并 将各组的Top5写回到mysql的flink_result中。 任务配置情况 实时采集任务 flink原生任务 需要注意的是参数指定的是任务执行时的并行度,必须填写而且要是大于等于1的整数 任务执行过程 1.mysql源表中的数据 2.执行sql语句,触发实时采集 INSERT INT原创 2020-07-06 18:00:46 · 759 阅读 · 0 评论