- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark入门：Spark on Yarn 内存模块介绍，及常见报错与解决办法
spark是基于scala语言实现的，而scala是一种基于jvm的语言。所以的spark底层的内存管理，就是建立在JVM的内存管理之上。此外我们使用了yarn做spark的资源调度器，所以理解yarn对spark程序内存的管控也必不可少。 由于spark节点分Driver(只有一个)和Executor(一般有多个)两种概念。但两种节点内存模型一样，且OOM常发生在Executor，所以下面以单个...
2020-02-22 22:20:10
486
原创 Spark入门：运行原理与性能调优
https://www.zybuluo.com/xiaop1987/note/76737 https://www.zybuluo.com/xiaop1987/note/102894
2020-02-22 22:03:21
160
原创 Spark常用参数解释及建议值
spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。 需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数。 以下常用参数配置均可以通过 --conf XXX=Y 方式使用，其他参数以及介绍请参考 https...
2020-02-21 17:59:39
368
程序设计语言实践之路
2018-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人