大数据
文章平均质量分 80
大数据从入门到精通
Coder-michael
不积跬步无以至千里
展开
-
Flink从入门到精通02之集群部署
1. Cluster mode introduction1.1. Comparison of cluster deployment modes根据以下两种条件将集群部署模式分为三种类型:集群的生命周期和资源隔离根据程序main()方法执行在client还是job managermodes:Session Mode: 共享job manager和task manager, 所有提交的job都在一个Runtime中运行Per-job Mode: 独享job manager和task mana原创 2021-10-15 23:33:42 · 382 阅读 · 0 评论 -
Flink从入门到精通01之Flink架构
1. Flink cluster architectureJob Manager: 管理节点,每个集群至少一个,管理整个集群计算资源,Job管理与调度执行,以及Checkpoint协调Task Manager: 每个集群有很多Task Manager, 负责计算资源提供Client: 本地执行应用main()方法解析Job Graph对象,病最终将Job Gragh提交到Job Manager运行,同时监控job执行的状态2. Job ManagerCheckpoint Coordina原创 2021-10-15 10:51:43 · 180 阅读 · 0 评论 -
Spark从入门到精通02之Spark核心编程
Spark 计算框架为了能够进行高并发和高吞吐的数据处理,封装了三大数据结构,用于处理不同的应用场景。三大数据结构分别是:RDD : 弹性分布式数据集累加器:分布式共享只写变量广播变量:分布式共享只读变量1. RDD1.1. 什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据处理模型。代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合弹性存储的弹性:内存与磁盘的自动切换;原创 2021-10-11 22:05:30 · 1731 阅读 · 0 评论 -
Spark从入门到精通01之基础理解
1. The basic info about Spark1.1. what is Spark?Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎Spark Core 中提供了 Spark 最基础与最核心的功能Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL,用户可以使用SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据。Spark原创 2021-10-11 20:41:17 · 1929 阅读 · 0 评论 -
Scala从入门到精通07之泛型
1. 协变和逆变2. 泛型上下限3. 上下文限定原创 2021-10-08 17:39:08 · 2344 阅读 · 0 评论 -
Scala从入门到精通06之异常&隐式转换
1. Scala异常处理我们将可疑代码封装在 try 块中。在 try 块之后使用了一个 catch 处理程序来捕获异常。如果发生任何异常,catch 处理程序将处理它,程序将不会异常终止。Scala 的异常的工作机制和 Java 一样,但是 Scala 没有“checked(编译期)”异常, 即 Scala 没有编译异常这个概念,异常都是在运行的时候捕获处理。异常捕捉的机制与其他语言中一样,如果有异常发生,catch 子句是按次序捕捉的。因此,在 catch 子句中,越具体的异常越要靠前,越普遍的原创 2021-10-08 17:26:32 · 2365 阅读 · 0 评论 -
Scala从入门到精通05之模式匹配
1. 模式守卫2. 模式匹配类型2.1. 匹配常量2.2. 匹配类型2.3. 匹配数组2.4. 匹配列表2.5. 匹配元组2.6. 匹配对象及样例类3. 变量声明中的模式匹配4. for表达中的模式匹配5. 偏函数中的模式匹配原创 2021-10-08 17:23:26 · 2340 阅读 · 0 评论 -
Scala从入门到精通04之集合
1. 集合简介2. 数组3. 列表List4. Set集合5. Map集合6. 元祖7. 集合常用函数8. 队列9. 并行集合原创 2021-10-08 16:59:36 · 2755 阅读 · 0 评论 -
Scala从入门到精通03之面向对象
1. Scala包2. 类和对象3. 封装4. 继承和多态5. 抽象类6. 单例对象7. 特质8. 对象扩展原创 2021-10-08 16:55:58 · 2726 阅读 · 0 评论 -
Scala从入门到精通02之函数
1. 函数基础1.1. 函数基本语法1.2. 函数和方法的区别(1)为完成某一功能的程序语句的集合,称为函数。(2)类中的函数称之方法。1.3. 函数定义1.4. 函数参数2.函数高级原创 2021-10-07 17:41:05 · 2693 阅读 · 0 评论 -
Scala从入门到精通01之基础介绍
1. scala overviewDiagram in Scala, Java and JVM2. Scala installbased on the official website: https://www.scala-lang.org/install JDK1.8 firstdownload the relevant scala install packageunpackage the scalaadd the environment path3. Write the firs.原创 2021-10-07 17:28:38 · 2613 阅读 · 0 评论