![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
文章平均质量分 66
不加班程序员
小白一枚
展开
-
RedisUtil
redis连接util scala代码。原创 2024-06-13 15:23:08 · 78 阅读 · 0 评论 -
flink消费kafka时获取元数据信息
flink消费kafka信息获取数据的元数据原创 2024-06-13 15:07:57 · 456 阅读 · 1 评论 -
Flink之时间和窗口
在事件时间语义下,我们不依赖系统时间,而是基于数据自带的时间戳去定义了一个时钟,用来表示当前时间的进展。于是每个并行子任务都会有一个自己的逻辑时钟,它的前进是靠数据的时间戳来驱动的。 我们可以把时钟也以数据的形式传递出去,告诉下游任务当前时间的进展;而且这个时钟的传递不会因为窗口聚合之类的运算而停滞。一种简单的想法是,在数据流中加入一个时钟标记,记录当前的事件时间;这个标记可以直接广播到下游,当下游任务收到这个标记,就可以更新自己的时钟了。原创 2023-04-07 14:50:00 · 955 阅读 · 0 评论 -
Flink之教程
本教程介绍了Flink的基本概念、架构、数据处理模式和常用API,并提供了详细的案例和图片。Flink是一个强大的流处理引擎,可以用于处理实时数据和批量数据,具有高性能和可扩展性。原创 2023-03-17 17:10:43 · 729 阅读 · 0 评论 -
Flink之Sink
Flink 的 DataStream API 专门提供了向外部写入数据的方法:addSink。与 addSource 类似,addSink 方法对应着一个“Sink”算子,主要就是用来实现与外部系统连接、并将数据提交写入的;Flink 程序中所有对外的输出操作,一般都是利用 Sink 算子完成的。原创 2023-03-16 11:48:29 · 1690 阅读 · 0 评论 -
Flink之Transformation
Flink常见的转换算子说明,如map、filter、flatmap、reduce、keyby等原创 2023-03-14 16:48:44 · 619 阅读 · 0 评论 -
Flink之Source
Flink 可以从各种来源获取数据,然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源,而读取数据的算子就是源算子(Source)。所以,Source 就是我们整个处理程序的输入端。原创 2023-03-10 17:59:06 · 1114 阅读 · 0 评论 -
Spark中字符串和json、map格式相互转化
Spark中字符串和json格式相互转化字符串转为mapimport org.json4s.DefaultFormatsimport org.json4s.jackson.JsonMethods.parseval ad = """{"name":"zsd","age":11}"""implicit val formats: DefaultFormats.type = org.json4s.DefaultFormatsval adMap: Map[String, Any] = parse(a原创 2021-01-19 15:31:30 · 1346 阅读 · 0 评论 -
2020-06-30T16:00:00.000Z类型时间中Z和T的含义及转化
T表示分隔符,Z表示的是UTC。UTC:世界标准时间,在标准时间上加上8小时,即东八区时间,也就是北京时间。例如:北京时间:2020-07-01 00:00:00对应的国际标准时间格式为:2020-06-30T16:00:00.000Zdef formatTime(time:String):String = {// val t = "2020-06-30T16:00:00.000Z" val timeRep = time.replace("Z", " UTC") val.原创 2020-12-09 14:53:57 · 5663 阅读 · 0 评论 -
Scala伴生类和伴生对象
Scala伴生类和伴生对象 单例对象与类同名时,这个单例对象被称为这个类的伴生对象,而这个类被称为这个单例对象的伴生类。伴生类和伴生对象要在同一个源文件中定义,伴生对象和伴生类可以互相访问其私有成员。不与伴生类同名的单例对象称为孤立对象。看看例子:?123456789101112131415161718192021222324252627...转载 2018-07-31 10:49:13 · 342 阅读 · 0 评论