- 博客(2)
- 收藏
- 关注
RSS订阅转载 再谈Spark下写S3文件的File Output Committer问题
我们分析了Spark写文件的机制，探讨了多个File Output Committer在性能与数据一致性上的权衡，以及针对AWS S3这样的对象存储的优化思路。文章结尾处，曾提到我们将会采用EMRFS S3-optimized Committer来解决Rename机制带来的性能与一致性问题。然而，最近在尝试使用这个Committer时，发现其并不如预期那么美好，存在诸多问题，这里将其总结下来，与诸位同道中人分享。前言我们先来回顾下之前介绍过的三种Committer：FileOutputCommitte
2020-06-11 15:41:54
556
转载 一键快速部署应用到容器镜像仓库
近年来，容器技术以迅雷不及掩耳之势迅速蔓延开来，容器技术基于各种场景的尝试与实践更是层出不穷，它的崛起改变了我们创建、发布与运行应用的方式，实现了资源的独立与隔离、相较于传统的虚拟化技术，它更加轻量化。随着以 Docker 为代表的容器技术在越来越多的业务场景中被应用，越来越多开发者开始习惯将应用打包成标准格式镜像并存放在镜像仓库中以便完成日常部署发布、团队协作等工作。但在真正的生产环境中，我们会产生大量镜像，不管是第三方还是自建，而这些镜像伴随而来的是部署、保存、分发使用等大量繁琐、重复的部署、管控工作
2020-06-11 15:40:27
537
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人