Scala
文章平均质量分 87
飝鱻.
这个作者很懒,什么都没留下…
展开
-
【Flink Scala】时间语义和Watermark
时间语义和Watermark时间语义Flink中的时间语义Event Time的引入Waterkmark(水位线)基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在Flink的流式处理中,会涉及到时间的不同概念,如下图所示:Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的 日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事 件时间戳。Ingestion Time:是数据进入 Flink.原创 2022-03-29 09:08:29 · 553 阅读 · 0 评论 -
【Flink Scala】window API
window APIwindow APIWindow 概述window窗口的分类Window的使用测试window APIWindow 概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限 数据集是指一种不断增长的本质上无限的数据集,而window 是一种切割无限数据 为有限块进行处理的手段。 Window是无限数据流处理的核心,Window将一个无限的 stream拆分成有限大 小的”buckets”桶,我们可以在这些桶上做计算操作。一般真实的流都是无界的,.原创 2022-03-29 09:02:05 · 1239 阅读 · 0 评论 -
【Flink Kafka】Flink程序连接Kafka没输出也不报错
Flink程序连接Kafka没输出也不报错本人最近在使用Kafka作为数据源输出数据到Flink时遇到一个问题,那就是既没有结果输出,也没有报错代码如下package Sourceimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flin原创 2022-03-25 08:29:47 · 2299 阅读 · 3 评论 -
【Flink Scala】Flink流处理API
Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transformmap算子flatMap算子Filter算子keyBy算子滚动聚合算子reducespilt和select算子collect和CoMap算子Union算子Environment创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,get原创 2022-03-24 08:21:48 · 628 阅读 · 0 评论 -
【Flink Scala】Flink的简介和项目的搭建
本文学习于尚硅谷的视频:B站视频Flink的简介和项目的搭建初识FlinkFlink的重要特点事件驱动型流与批的世界观分层API项目的搭建批处理初识FlinkFlink 起源于 Stratosphere项目,Stratosphere是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache软 件 基 金 会 , 参 加 这 个 孵 化 项 目 的 初 始 成 .原创 2022-03-23 08:52:00 · 1345 阅读 · 0 评论 -
【Scala】函数式编程
函数式编程函数定义和使用高阶函数针对容器操作函数式编程实例函数定义和使用定义函数最通用的方法是作为某个类或者对象的成员,这种函数被称为方法,其定义的基本语法为def 方法名(参数列表):结果类型={方法体}字面量包括整数字面量、浮点数字面量、布尔型字面量、字符字面量、字符串字面量、符号字面量、函数字面量和元组字面量函数字面量可以体现函数式编程的核心理念在函数式编程中,函数是“头等公民”,可以像任何其他数据类型一样被传递和操作,也就是说,函数的使用方式和其他数据类型的使用方式完全一致了原创 2022-03-07 07:25:48 · 714 阅读 · 0 评论 -
【Scala】面向对象编程
面向对象编程类对象继承特质模式匹配包类类的定义class Counter{ 定义类的字段和方法}定义字段:使用关键字val或者var定义方法:def 方法名(参数列表):返回结果类型={方法体} def increment(step: Int): Unit = { value += step } def current(): Int = { value }联系起来就是 var value = 0 def increment(step: Int原创 2022-03-06 10:58:35 · 606 阅读 · 0 评论 -
【Scala】Scala的语法
Scala的语法Scala概述概述编程范式基本输出类型和变量输出输入控制结构数据结构Scala概述概述Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(JVM虚拟机),并兼容现有的Java程序Scala的特点优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验。速度快:Scala语言表达能力强,一行代码抵得上Java多行,开发速度快;Scala是静态编译的,所以和JRub原创 2022-03-05 17:17:41 · 1047 阅读 · 0 评论