- 博客(2)
- 收藏
- 关注
原创 LoadingCache在Spark HistoryServer中的运用
之前分析了Spark HistoryServer的Web界面构建和后台数据解析的流程,下面介绍一下Web操作在后台执行的流程以及为了提高查询速度,数据在HistoryServer的缓存策略绑定路由 在HistoryServer的实例化过程中,会绑定以/api/v1/开头的路由attachHandler(ApiRootResource.getServletHandler(this))ApiRootR
2017-07-17 15:08:38 609
原创 Spark源码阅读之HistoryServer
概述 HistoryServer服务可以让用户通过Spark UI界面,查看历史应用(已经执行完的应用)的执行细节,比如job信息、stage信息、task信息等,该功能是基于spark eventlogs日志文件的,所以必须打开eventlogs日志开关,关于日志开关的打开和HistoryServer服务的启动方法这里不再讲述,下面进入正题下面使用的spark版本是2.0.2类结构图
2017-07-17 10:56:54 1458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人