![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark&&scala
文章平均质量分 96
不忘初心$$
勿忘写代码的初衷
展开
-
简易的Spark底层通信框架实现
模拟Spark的Master和Worker通信一个Master管理Worker若干个Worker(Worker可以按需添加)注册发送心跳图解实现思路构建Master,Worker阶段构建Master ActorSystem Actor构建Worker ActorSystem ActorWorker注册阶段Worker进程向Mast...原创 2019-11-22 17:43:05 · 455 阅读 · 0 评论 -
Flink的容错
一.CheckPoint1.1CheckPoint介绍Checkpoint是Flink容错的核心机制,它可以定期的从各个Operator处理的数据进行快照存储,如果Flink程序出现宕机,可以重新从这些快照中恢复数据每个Checkpoint的应用在启动时,Flink的JobManager为其创建一个CheckpointCoordinator(检查点协调器),CheckpointCoordin...原创 2019-11-17 21:23:07 · 433 阅读 · 0 评论 -
Spark中的RDD是什么?
cluster模式下,无论driver还是worker都是运行在worker上面的spark on Yarnspark 运行在Yarn上,是最为复杂的如果运行spark yarn上面,出现资源不足,关闭yarn中资源检查为了更好的监控查看在yarn上运行完成的spark application 需要配置历史服务器,第一,配置yarn-site.xml表示的是Mapreduce His...原创 2019-11-14 20:54:44 · 1085 阅读 · 0 评论 -
什么是Flink?
Flinklogo介绍流的划分:有界流:对源源不断的流进行边界划分无界流2.Flink集群安装Flink支持多种安装模式local(本地)–单机StandAloneyarn为分布环境部署角色:JobClient,JobManger,TaskManagerFlink程序需要提交给JobClientJobClient将作业提交给...原创 2019-11-14 19:48:38 · 1339 阅读 · 0 评论 -
Spark笔记一(环境和WordCount入门案例)
sparkCore:核心模块spark框架核心,主要内容是RDD针对海量数据进行离线分析,类似于Mapreduce框架sparkSQL:使用最多的模块类似hive框架,提供sql功能,分析数据,远远不止sql,还提供DSL(类似python中的pandas库)sparkStream:针对流式数据处理的模块性能很稳,在实时不高德时候,选择此模块structured Streami...原创 2019-11-08 23:02:22 · 284 阅读 · 0 评论 -
Akka并发编程框架
Akka并发编程框架1. Akka特性Akka是一个用于构造高并发,分布式和可扩展的基于事件驱动的应用的工具包,Akka是使用scala开发的库,同时可以使用scala和java语言来开发基于Akka的应用程序2. Akka特性提供基于异步非阻塞,高性能的事件驱动编程模型内置容错机制,允许Actor在出错的时候进行恢复或者重置操作超级轻量级的事件处理(每GB堆内存几百万的Actor)...原创 2019-11-04 01:26:53 · 506 阅读 · 0 评论 -
Scala基础语法小结(六)
高阶函数scala混合了面向对象和函数式的特性,在函数式编程语言中,函数是"头等公民",它和Int,String,Class等其他类型处于同等的地位,可以像其他类型的变量一样被传递和操作作为值的函数在scala中,函数就像数字,字符串一样,可以将函数传递给一个方法,我们可以对算法进封装,然后将具体的动作传递给方法示例示例说明将一个整数列表中的每个元素转换为对应个数的小星星List(1...原创 2019-11-02 23:24:30 · 184 阅读 · 0 评论 -
Scala基础语法小结(五)
1.异常处理1.1 捕获异常1.2 抛出异常2.提取器3.泛型3.1 定义一个泛型方法3.2 泛型类3.3 上下界3.3.1 上界3.3.2 下界3.4 协变、逆变、非变3.4.1 协变3.4.2 逆变3.4.3 非变...原创 2019-11-01 21:19:04 · 129 阅读 · 0 评论 -
Scala基础语法小结(四)
1.样例类样例类是一种特殊的类,它可以用来快速定义一个用于保存数据的类(类似于Java POJO类)1.1定义样例类语法:case class 样例类名([var/val] 成员变量名1:类型1, 成员变量名2:类型2, 成员变量名3:类型3)如果要实现某个成员变量可以被修改,可以添加var默认为val,可以省略1.2定义一个样例类需求:定义一个Person样例类,包含姓...原创 2019-11-01 20:33:48 · 256 阅读 · 0 评论 -
Scala基础语法小结(三)
dasd原创 2019-11-01 18:32:53 · 348 阅读 · 1 评论 -
Scala基础语法小结(二)
dada原创 2019-11-01 16:53:30 · 297 阅读 · 1 评论 -
scala函数式编程语法小结
scala简介:scala是运行在JVM上的多范式编程语言,同时支持面向对象和面向函数编程早期,scala刚出现的时候,并没有引起重视,随着spark和kafka这样基于scala的大数据框架的兴起,scala逐步进入大数据开发者的眼帘,scala的主要优势在于它的表达性为什么使用scala?开发大数据应用程序表达能力强,一行代码抵得Java多行,开发速度快兼容java,可以访问庞大的...原创 2019-10-28 23:36:40 · 151 阅读 · 0 评论 -
Scala基础语法小结(一)
1.声明变量1.1 语法格式在scala中,可以使用val或者var来定义变量,语法格式如下:val/var 变量标识:变量类型 = 初始值val定义的是不可重新赋值的变量var定义的是可重新赋值的变量1.2在解释器中定义一个变量示例:定义一个变量保存一个人的名字"tom"参考代码scala> val name:String = "tom"name: String...原创 2019-10-30 14:24:15 · 495 阅读 · 0 评论 -
Scala中的Actor模式
1. Actor介绍scala中的Actor并发编程模型可以用来开发比java线程效率更高的并发程序2. JAVA并发编程的问题在Java并发编程中,每个对象都有一个逻辑监视器(monitor),可以用来控制对象的多线程访问,我们添加sychronized关键字来标记,需要进行同步加锁访问.这样,通过加锁的机制来确保同一时间只能有一个线程访问共享数据,但是这种方式存在资源争夺,以及死...原创 2019-11-01 15:01:24 · 325 阅读 · 0 评论