- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark度量系统相关讲解
Spark的Metrics System的度量系统，有两个部分组成：source，sink，创建的时候需要制定instance。度量系统会周期的将source的指标数据被sink周期性的拉去，sink可以有很多。 Instance代表着使用度量系统的角色。在spark内部，目前master，worker，Executor，client driver，这些角色都会因为要去做监控而创建使用度量系统。...
2019-11-13 21:05:46
380
原创 Spark的调度系统
Spark的调度系统 一，简介 Spark调度机制可以理解为两个层面的调度。首先，是Spark Application调度。也就是Spark应用程序在集群运行的调度，应用程序包括Driver调度和Executor调度。其次，就是每个Spark Application都会有若干Jobs(Spark Actions)，然后这些job是以何种机制，在Executor上执行的，也是需要一个调度管理的机...
2019-11-13 20:56:08
278
ElasticSearch写入原理及优化.docx
ElasticSearch写入原理及优化案例，此文章深入刨析了ElasticSearch在put和get时的原理。并且对于批量数据写入时进行优化给出最佳的方案和示例
2020-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人