scala
文章平均质量分 55
那后生
个威 heimi1605
展开
-
FlinkTable&Sql 中 OutputSelector升级到OutputTag 对数据分流(包含对比实例)
文章目录案例说明flink 1.10 版本 的outputSelector 实现flink 1.12 版本 OutputTag 实现案例说明利用flink source 功能实现一个自定义的实时数据源。达到的效果是:将实时的商品数据进行分流,分成even 和 odd 两个流进行join。条件是名称相同,最后把join 的结果输出。flink 1.10 版本 的outputSelector 实现public class MyStreamingSource implements SourceFu原创 2021-12-16 14:07:07 · 2028 阅读 · 1 评论 -
Flink Windows本地 wordcount 批、流、sql 案例
文章目录创建工程直接用maven 创建工程flink 提供的创建工程的方式添加依赖DataSet wordcountDataStream wordCount创建工程直接用maven 创建工程mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10.0通过mave原创 2021-11-18 11:48:18 · 1355 阅读 · 0 评论 -
scala reduce 图解
文章目录scala reduce 集合操作图解scala reduce 集合操作图解// Scala program to// print maximum value// using reduce() // Creating objectobject GfG{ // Main methoddef main(args:Array[String]){ // source collection val collection = List(1, 3, 2, 5, 4,原创 2021-09-18 22:54:43 · 228 阅读 · 0 评论 -
数据密集型应用系统设计 笔记11流处理系统
文章目录流处理系统流是什么消息系统多对多流处理系统批处理系统中,一个作业输入和输出的是文件,流处理系统 等效的流是什么。流是什么一个小的不可变的对象,该对象包含某个时间点发生的事情的细节。每个事件包含一个时间点。(墙上时钟)例如 web 日志的每一行都是一个事件。事件: 通常事件会被编码为文本字符串或者是JSON,或者是某种二进制形式。通过这种编码的方式保存事件。可以持久化。或者通过网络事件发送到另一个节点进行处理。主题:文件被写入一次可能被多个作业读取,流术语中,事件也可能有多个消费原创 2021-04-20 22:34:20 · 172 阅读 · 0 评论 -
从面试的角度重新学习java final 关键字
文章目录1 final 关键字的用法是什么?2 什么是空白final变量3 可以在不初始化的情况下声明最终变量吗?初始化块static 静态初始化块通过构造器4.方法内4 什么是final 方法5 什么是 final 类6 可以将构造器声明为 final 吗?7 如果final 修饰List/ArrayList8java中什么是final static 变量1 final 关键字的用法是什么?final关键字可以用于修饰类、类属性和类方法。– 对于被final关键字修饰的类属性而言,子类就不能给他.原创 2020-12-17 11:23:52 · 130 阅读 · 0 评论 -
Scala Collections 集合操作 groupBy() example
文章目录groupBy()使用实例contains()模式匹配使用scala 提供了丰富的集合 API ,就像groupBy()groupBy()使用实例下面是一个Strings 的集合val sports = Seq("baseball", "ice hockey", "football", "basketball", "110m hurdles", "field hockey")这里的scala 类型推断如下。执行sports.groupBy(_.charAt(0))我们可以将这原创 2020-11-25 15:30:47 · 950 阅读 · 0 评论 -
scala 函数式编程案例 map 和 flatmap 详解。
文章目录简介常规函数的局限可扩展性与高阶函数=> 符号具有多个参数的函数值(高阶函数)补充说明简介函数是一等公民,可以作为参数传入其他的函数中去。函数的返回值可以是函数,函数甚至可以嵌套函数。scala 中的高阶函数可以被称为函数值(function value)闭包 是函数值的一种特殊形式,会捕获或者是绑定到另外一个作用域或者是上下文中定义的变量。简单点理解函数就是和其他的数据类型一样,可以赋值给变量,也可以作为参数传递给另外一个变量。常规函数的局限举例,我们要算出从1 到给定整原创 2020-11-23 15:46:03 · 375 阅读 · 0 评论 -
认证授权设计基础知识 笔记
文章目录什么是认证授权凭证cookiesessioncookie 和 session 的区别什么是 token(令牌)Refresh TokenJWT / 和Token的区别什么是认证验证当前用户的身份相当与用身份证买火车票,需要证明自己是自己。一般的认证方式有用户名密码邮箱发送登陆连接手机号接收验证码授权用户授予第三方应用访问该用户的某些资源的权限 例如微信中允许第三方小程序获得自己的昵称和头像地区等等的信息。实现授权的方式:cookie session token Oauth凭原创 2020-05-15 14:49:35 · 399 阅读 · 0 评论 -
scala 设计模式 面向切面编程 Aspect-Oriented Programming
文章目录abstract override面向切面编程(Aspect-oriented programming)Timing our application without APOTiming our application with AOPabstract overrideabstract override修饰符在这里的作用是通知编译器我们将进行可以叠加的修改。如果没有加入修饰符编译将会报错...原创 2020-04-24 15:14:00 · 452 阅读 · 0 评论 -
“Unknown artifact. Not resolved or indexed” error for scalatest 手动添加依赖
文章目录问题描述解决 sbt 下载依赖后不能使用问题描述使用sbt 下载了依赖后代码中不能使用 import 出问题,中间排查了很久决定记录一下。解决 sbt 下载依赖后不能使用sbt 1.3.0+使用Coursier实施依赖项管理。 在sbt 1.3.0之前,sbt使用Apache Ivy已经有十年了。 Coursier在保持兼容性方面做得很好,但是某些功能可能特定于Apache Iv...原创 2020-04-06 17:10:57 · 914 阅读 · 0 评论 -
scala 中=> 的含义
scala 在很多场景中都是用了 => 因此对 => 的用法做了总结。文章目录=> (Take LEFT then do RIGHT.)需要用到的知识匿名函数高阶函数=> (Take LEFT then do RIGHT.)=> 有几种含义所有的含义都和它数学上面的含义相关。表示函数的返回类型(Function Type) scala> var x...原创 2020-03-12 18:19:27 · 2026 阅读 · 0 评论 -
scala函数式编程 之偏函数(partial function)的简单使用
文章目录什么是偏函数(partial function)为什么要使用偏函数有什么好处解决方式一 模式匹配解决方式二 map 遍历 + filter 过滤偏函数偏函数的实现原理Scala中的map与collect什么是偏函数(partial function)官方文档的定义:所谓偏函数(也叫部分函数)与完全函数想对应,普通的方法都是完全函数,即 f(i:Int) = xxx 是将所有Int类...原创 2020-03-10 15:17:45 · 837 阅读 · 0 评论 -
scala 中的枚举类型
Scala中的枚举枚举在编程中指的是命名的常量,在scala中提供了一个Enumeration类,我们可以扩展它以创建枚举。在scala中声明枚举object Main extends Enumeration{ type Main = Value // 赋值 val first = Value("惊悚片") val second = Value("恐怖片") va...原创 2019-07-23 22:19:26 · 1423 阅读 · 0 评论