- 博客(2)
- 收藏
- 关注
RSS订阅原创 LoadingCache在Spark HistoryServer中的运用
之前分析了Spark HistoryServer的Web界面构建和后台数据解析的流程，下面介绍一下Web操作在后台执行的流程以及为了提高查询速度，数据在HistoryServer的缓存策略绑定路由 在HistoryServer的实例化过程中，会绑定以/api/v1/开头的路由attachHandler(ApiRootResource.getServletHandler(this))ApiRootR
2017-07-17 15:08:38
570
原创 Spark源码阅读之HistoryServer
概述 HistoryServer服务可以让用户通过Spark UI界面，查看历史应用（已经执行完的应用）的执行细节，比如job信息、stage信息、task信息等，该功能是基于spark eventlogs日志文件的，所以必须打开eventlogs日志开关，关于日志开关的打开和HistoryServer服务的启动方法这里不再讲述，下面进入正题下面使用的spark版本是2.0.2类结构图
2017-07-17 10:56:54
1360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人