干货 | Apache Spark 2.0 作业优化技巧

本 PPT 来自 IBM，里面有大量针对 Spark 2.0 进行优化的技巧，其中包括：

1、如何给 Spark 作业分配内存及 CPU；

2、监控和训练 Spark Streaming 作业；

3、优化 RDD 的磁盘 IO 性能；

4、OOM 异常查找和处理；

5、GC 处理等；

值得 Spark 开发工程师一看。

PPT下载：https://www.iteblog.com/t.pdf 或 http://cdn.iteblog.com/t.pdf (点击下面阅读原文即可进入)

猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

0、回复 电子书 获取 本站所有可下载的电子书

1、三种恢复 HDFS 上删除文件的方法

2、Apache Spark 2.3 重要特性介绍

3、盘点2017年晋升为Apache TLP的大数据相关项目

4、干货 | Spark SQL：过去，现在以及未来

5、Apache Spark 黑名单(Blacklist)机制介绍

6、Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上

7、Apache CarbonData里程碑式版本1.3发布，多个重要新特性

8、NodeManager节点自身健康状态检测机制

9、[干货]大规模数据处理的演变(2003-2017)

10、Apache Flink 1.3.0正式发布及其新功能介绍

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)

12、Flink中文文档：http://flink.iteblog.com

本博客微信小程序：