![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础
调制解调器-softWare
这个作者很懒,什么都没留下…
展开
-
Spark优化--开发调优
1.处理同一份数据的话,建议不要重复创建RDD===>复用同一个RDD(对同一个RDD要进行多次操作)===>就对RDD进行持久化rdd.cache()//cache是persist无参的版本,也就是默认的持久化级别rdd.persist()rdd.unPersist()//卸载2.持久化级别:MEMEORY_ONLY:要有足够大的内存支撑其持久化操作,将rdd中的未经序列原创 2017-08-26 20:22:46 · 266 阅读 · 0 评论 -
Spark性能优化:资源调优篇
在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源,作业运行会极其缓慢;或者设置的资源过大,队列没有足够的资源来提供,进而导致各种异常。总之,无论是哪转载 2018-01-04 10:47:03 · 218 阅读 · 0 评论