- 博客(2)
- 收藏
- 关注
RSS订阅转载 [转]一些spark调优的经验
调优的经验总结 1 输出信息 在Spark应用里面可以直接使用System.out.println把信息输出出来，系统会直接拦截out输出到spark的日志。像我们使用的yarn作为资源管理系统，在yarn的日志中就可以直接看到这些输出信息了。这在数据量很大的时候，做一些show()（默认显示20），count() 或者 take(10)的时候会很方便。 2 内存不够 当任
2017-12-08 17:12:40
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人