spark
wwwtotoro
找一个无人的地方,自说自话
展开
-
scala、spark资料收集(入门及调优)
spark 任务运行原理原创 2017-04-24 11:24:18 · 2992 阅读 · 0 评论 -
spark调优2
1 spark 参数调优 具体的参数在spark官网上都有描述。本文从项目调优的经验总结对性能影响比较大的几个参数。 1.1 Executor内存和Executor 核数 由产品规格决定,没什么好优化的 1.2 序列化 强烈建议使用kryoserializer 1.3 spark.storage.memoryF原创 2017-07-18 00:46:36 · 177 阅读 · 0 评论 -
Spark调优1
Spark是内存当中的计算框架,集群中的任何资源都会让它处于瓶颈,CPU、内存、网络带宽。通常,内存足够的情况之下,网络带宽是瓶颈,这时我们就需要进行一些调优,比如用一种序列化的方式来存储RDD来减少内存使用,下面介绍两种方式:数据序列化和内存调优。 1、数据序列化 (1) Spark默认是使用Java的ObjectOutputStream框架,它支持所有的继承于java.原创 2017-07-18 00:44:58 · 192 阅读 · 0 评论