![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
流浪小肥羊
学习交流qq群:370458088
展开
-
spark1.6.1学习笔记01-spark调优
spark调优主要在两个方面进行考虑,一个是数据序列化,另一个是内存管理。 1、从数据序列化角度进行优化 spark提供了两个序列化库。默认情况下Spark使用Java的ObjectOutputStream框架,它可以作用于任何实现了java.io.Serializable接口的类。通过实现java.io.Externalizable接口可以更精细地控制序列化过程。Java序列化非常的翻译 2017-05-09 10:46:32 · 450 阅读 · 0 评论 -
spark1.6.1学习笔记02-spark集群的作业调度
1、spark应用之间的作业调度每个spark应用拥有一个独立的executor虚拟机集合,这些executor只会执行该spark应用的tasks。spark提供了多种集群资源分配方式:(1)最简易的方式是静态资源分配。此模式给每个spark应用分配一个静态的最大资源量,在spark应用的整个生命周期中都会保有这些资源。spark standalone、YARN和coase-gran翻译 2017-05-17 16:48:47 · 744 阅读 · 0 评论