k8s
ztcheck
每个人都是生活的导演
展开
-
Spark借助Alluxio保障在k8s中的数据本地性
Spark借助Alluxio保障在k8s中的数据本地性继续接着之前的文章谈一谈,Spark在k8s中的数据本地性。上一篇文章详见Spark在k8s中的数据本地性,这里开始实际操作。主要参考官网文档,下面主要记录几个需要注意的地方:开启短读【short-cuit】特性【默认开启】,短读特性是指client在读取数据时,如果数据在worker本地节点存在的话,client会直接读取数据而不是通过worker读取数据,对性能有较好的提升。# 用户自定义的config.yaml中,在worker定义部分原创 2020-07-03 14:21:59 · 781 阅读 · 1 评论 -
Spark在k8s中的数据本地性
Spark在k8s中的数据本地性在k8s中,天然存在着数据隔离和网络隔离,这就造成了Spark在k8s中运行时,很难达到较好的数据本地性级别。常规意义上讲Spark的数据本地性,大部分是指的是Spark在读取数据时,第一个stage的数据本地性。这是由于Spark在读取数据时,首先会先去task执行位置寻找数据是否有缓存,其次会寻找数据是否存在优选位置【检查checkpointRDD的数据位置,主要是有的任务设置的checkpoint,任务失败恢复时,直接读取checkpoint的数据】,最后才是寻找窄依原创 2020-07-03 09:21:13 · 441 阅读 · 0 评论 -
kubernetes之helm简介、安装、配置、使用指南
转载自:菲宇 (https://blog.csdn.net/bbwangj/article/details/81087911?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task) ...转载 2020-03-26 15:00:21 · 948 阅读 · 0 评论