惊醒夕梦-CSDN博客

原创 scala中的函数和方法

一：scala中的函数Scala中，函数上升和变量同等的位置，或者说函数也是一种变量；Scala中的函数可以作为实参传递给另一个函数；函数可以作为返回值；函数可以赋值给变量(这个变量需符合函数的类型的变量)；函数可以存储在数据结构之中。函数如同普通变量一样，也具有类型；函数的定义可以有很多种，因此需要掌握最基本的定义方法：1，函数的基本定义val f1 = (a: Int, b: Int) => a + bval f2 = ((a: Int, b: Int.

2021-04-09 15:49:06 2128 1

原创 flink中的窗口机制

关于flink中的窗口基本概念请自行百度，本文主要使用案例来说明flink中的窗口触发时间及如何处理迟到数据的关于水位线的一些理论知识：水位线是什么窗口有了，但是要知道我们面对的是实时数据，而这些数据随时会出现延迟的情况，从几秒到几小时都有可能。如果要忽略这些数据，那么显然对于结果的计算是不准确的，可是要等待这些延迟数据的话，那岂不是等同于批处理了，我们等不了那么久的。这个时候水位线恰好就是来描述和解决这个问题的。它指定一个时间 T，表示时间 T 之前的数据已经全部到达，后续再迟到的数据...

2021-03-12 12:41:16 531

原创 spark中master和worker之间的进程通讯（心跳机制）

模拟spark源码的心跳机制worker注册到Master, Master完成注册，并回复worker注册成功 worker定时发送心跳 Master接收到worker心跳后，要更新该worker的最近一次发送心跳的时间给Master启动定时任务，定时检测注册的worker有哪些没有更新心跳,并将其从hashmap中删除这个项目总体分三部分（三个模块）worker向master完成注册 worker定时向master发送心跳信息 master启动定时任务，定时监测worker.

2021-01-22 12:44:18 972

转载序列化和反序列化的底层实现原理是什么？

一、基本概念1、什么是序列化和反序列化（1）Java序列化是指把Java对象转换为字节序列的过程，而Java反序列化是指把字节序列恢复为Java对象的过程；（2）**序列化：**对象序列化的最主要的用处就是在传递和保存对象的时候，保证对象的完整性和可传递性。序列化是把对象转换成有序字节流，以便在网络上传输或者保存在本地文件中。序列化后的字节流保存了Java对象的状态以及相关的描述信息。序列化机制的核心作用就是对象状态的保存与重建。（3）**反序列化：**客户端从文件中或网络上获得序列化后的对

2020-12-24 14:19:15 155

原创 scala中的集合概述

Scala同时支持可变集合和不可变集合，不可变集合(本身不能改变，更确切说是地址不能变)，可以安全的并发访问。两个主要的包：不可变集合：scala.collection.immutable可变集合： scala.collection.mutableScala优先采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类永远不会改变。不过，你仍然可以模拟添加，移除或更新.

2020-12-22 12:37:02 175

原创 scala中的主构造器和辅助构造器

构造器(constructor)又叫构造方法，是类的一种特殊的方法，它的主要作用是完成对新对象的初始化。回顾一下java中的构造器特点：在Java中一个类可以定义多个不同的构造方法，（构造方法重载），如果程序员没有定义构造方法，系统会自动给类生成一个默认无参构造方法(也叫默认构造器)，一旦定义了自己的构造方法（构造器）,默认的构造方法就覆盖了，就不能再使用默认的无参构造方法，除非显示的定义一下；Scala构造器的介绍和Java一样，Scala构造对象也需要调用构造方法，并且可以有任意

2020-12-21 16:43:37 1482

原创 scala中的异常处理机制

scala中的异常处理机制依然沿用了java中的异常处理机制；处理异常最主要的作用的是当异常发生时不会导致整个程序中断，而是还可以继续执行；示例代码如下：object ScalaException { def main(args: Array[String]): Unit = { try { val r = 10 / 0// 1,在scala中只有一个catch// 2,在catch中有多个case，每个case可以匹配一种异常//

2020-12-21 16:32:22 305

原创 scala中的object为什么可以直接运行

前言：当我们定义一个object时候，可以直接运行里面的main方法，那么scala底层是如何处理的呢例如：下面这段代码，我们是可以直接运行的：object HelloScala { def main(args: Array[String]): Unit = { println("hello scala") }}object表示一个伴生对象，这里我们简单的理解就是一个对象；HelloScala就是对象的名字，它底层真正对应的类名是HelloScala$（这个类比较特殊

2020-12-21 16:18:14 1311

原创定义scala中的变量

变量相当于内存中一个数据存储空间的表示，你可以把变量看做是一个房间的门牌号，通过门牌号我们可以找到房间，而通过变量名可以访问到变量(值)。

2020-12-21 15:55:15 327

原创 scala入门

scalascala中的集合scala中的隐式转换文章目录scala语言前言一、scala基本概念二、scala基本语法 1.window系统安装scala 2.idea中安装scala插件总结前言这是一个scala语言学习的系列文章一、scala语言基本介绍scala的预期目标是将面向对象，函数式编程和强大的系统类型结合起来，同时让人写出优雅,简洁的代码；scala博采众长，scala采用了java和c#语法的大部分，而他们大部..

2020-12-21 15:41:46 75

原创 mac系统安装Telnet

Mac系统升级10.13以后取消了telnet内置命令。现在重新安装 telnet使用命令：首先安装： Homebrew/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"一路回车，输入密码即可，但是这一步可能无法正确安装 Homebr...

2019-11-21 10:00:30 415