![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
殇殇亿往岁月流
不回忆昨天,不幻想明天,踏实干好今天!!!
展开
-
Spark中的角色介绍
Spark 是基于内存计算的大数据并行计算框架。因为其基于内存计算,比Hadoop 中 MapReduce 计算框架具有更高的实时性,同时保证了高效容错性和可伸缩性。从 2009 年诞生于 AMPLab 到现在已经成为 Apache 顶级开源项目,并成功应用于商业集群中,学习 Spark 就需要了解其架构。 Spark 架构图如下: Spark架构使用了分布式计算中master-sla...原创 2018-08-03 11:46:07 · 987 阅读 · 0 评论 -
Spark在Executor上的内存分配
spark.serializer (default org.apache.spark.serializer.JavaSerializer ) 建议设置为 org.apache.spark.serializer.KryoSerializer,因为KryoSerializer比JavaSerializer快,但是有可能会有些Object会序列化失败,这个时候就需要显示的对序列化失败的类进行Kr...原创 2018-08-19 20:52:57 · 1565 阅读 · 0 评论