- 博客(1)
- 收藏
- 关注
RSS订阅转载 关于Spark调优的一些粗略总结
Spark海量数据调优实战 ===》 TB级别数据调优实战 感谢原作者：aijiudu PS：以下是一些基础调优：只代表本萌新的个人见解 1、广播变量：driver端将数据量过大的外部变量拷贝到各个节点上，task共享节点上executor的数据，而不需要去单独拷贝一份，节省IO内存 2、持久化RDD：将公用的RDD缓存到内存，以后直接去持久化的RDD的数据，不需要从头计算 cache：内部缓存...
2019-08-01 09:19:19
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人