- 博客(1)
- 资源 (1)
- 收藏
- 关注
转载 Spark ExternalShuffleService 运行原理
前言Spark 的 Executor 节点不仅负责数据的计算,还涉及到数据的管理。如果发生了 shuffle 操作,Executor 节点不仅需要生成 shuffle 数据,还需要负责处理读取请求。如果 一个 Executor 节点挂掉了,那么它也就无法处理 shuffle 的数据读取请求了,它之前生成的数据都没有意义了。为了解耦数据计算和数据读取服务,Spark 支持单独的服务来处理读取请求。这个单独的服务叫做 ExternalShuffleService,运行在每台主机上,管理该主机的所有 Exec
2020-11-11 10:46:20 2361
Spring Boot自定义错误页面
该资源是我的博文《Spring Boot自定义错误页面》的关联资源,博文链接:http://blog.csdn.net/github_32521685/article/details/50198467
2015-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人