scala
文章平均质量分 77
D调的Stanley
这个作者很懒,什么都没留下…
展开
-
flink checkpoint恢复测试
测试代码order 样例类package com.stanley.checkpoint/** * Created by admin on 2020/7/7. */case class Order(id:Int,category:String,price:Double)主函数package com.stanley.checkpointimport java.util.Propertiesimport org.apache.flink.api.common.funct原创 2020-07-08 10:06:49 · 1089 阅读 · 0 评论 -
flink 三种方式实现wordcount
sum在对datastream keyby后使用sum函数聚合package com.stanley.wordcountimport org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}import org.apache.flink.api.scala._/** * Created by admin on 2020/7/2. */object SumWordCount {原创 2020-07-02 17:50:51 · 690 阅读 · 0 评论 -
flink EventTime中watermark详解
flink在对流数据进行窗口操作时,当eventtime在过了窗口时间后会进行关窗操作。然后在实际生产环境中,由于网络等各种各样的原因可能会出现迟到数据,导致数据乱序。如下图所示,圆圈里的数字代表时间,这时候如果对数据进行一个5秒的滚动窗口操作,当第6秒的数据进入时,系统会讲0-5秒的窗口关闭,这时候4秒的数据就会丢失。遇到这种情况除了调用allowedLateness和侧输出流外,还可以使用watermater...原创 2020-06-26 13:17:56 · 539 阅读 · 0 评论 -
scala和java的关联以及区别
从Hello World说起编写一段最基本的helloworld代码,然后我们对生产的class文件进行反编译,可以看到生成了两个class文件 一个是HelloWorld,一个是HelloWorld$object HelloWorld { def main(args: Array[String]): Unit = { println("Hello World!") }...原创 2020-05-08 15:55:20 · 1456 阅读 · 1 评论 -
spark 实现共同好友查找
共同好友:求大量集合的两两交集目标:令U为包含所有用户的一个集合:{U1,U2,...,Un},我们的目标是为每个(Ui,Uj)对(i!=j)找出共同好友。前提:好友关系是双向的输入:<person><,><friend1>< ><friend2>< >...<friendN>100,200 300 4原创 2018-05-20 11:49:05 · 1114 阅读 · 0 评论