atbigapp的博客

作者：王斐，ebay Hadoop 团队软件工程师，Apache Kyuubi PMC member，Apache Celeborn Committer。简介：Apache Celeborn 是一个统一的大数据中间服务，致力于提高不同MapReduce引擎的效率和弹性。为了Spark on Kubernetes的弹性以及解决External Shuffle Service的灵活性和稳定性不足，eBay引入 Celeborn 作为Remote Shuffle Service。本文介绍了eBay基于最新 RES

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。启动脚本中，强制校验了为三处环境变量值，若不满足则无法正常启动进程，这三处环境变量值的。校验的情况，会在后续版本中尽快优化掉，带来的不便敬请谅解~脚本，或通过临时启动一个 be 的容器，将容器内在。

离线任务跑的好好的，忽然有一天失败了，查看海豚上的任务执行日志发现是hiveserver2连接超时了。

Dolphinscheduler 3.2.0版本参数传递并使用switch任务进行判断

大家一起来探讨SeaTunnel方案，简化当前Dinky与chunjun的双轨模式（Dinky仅用于实时同步，chunjun负责离线处理）。提议小组一起共议，并由大数据组构建demo验证其能否融合流批处理于Zeus平台，实现统一开发与运维，降低跨平台障碍与学习成本。技术应聚焦高效而非堆砌，共同努力推动架构优化。

【Apache Doris】数据均衡问题排查指南

ZooKeeper 是一个高性能分布式的开源协调服务，用于构建分布式应用程序和服务。 一个 ZooKeeper 集群通常由多个 ZooKeeper 服务器组成，这些服务器分布在不同的物理节点上。在集群中，每个服务器都知道其他服务器的存在，并且彼此协调工作以提供一致性和可用性。

在我们日常使用Dinky过程中，数据源是必不可少的，它可以帮我们快速创建Flink sql，查询数据，检查元数据等功能，但是对于连接模板与连接配置以及其他功能你都了解吗？下面我来讲一下DInky 数据源的玩法全流程，希望对你开发有帮助。

BigTop的应用场景：1. BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb包的过程，使之变得快捷且高效。2. BigTop集成了编译过程中所需的复杂依赖关系，有效解决了常见的编译错误，并且通过代码中的补丁确保了流畅的编译体验。这意味着，用户不再需要为官方包无法编译或搭建复杂的编译环境而感到困扰。3. BigTop还提供了对Apache Ambari的支持，使用户能够轻松打包与Ambari兼容、满足安装要求的大数据软件包。

1. BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb包的过程，使之变得快捷且高效。2. BigTop集成了编译过程中所需的复杂依赖关系，有效解决了常见的编译错误，并且通过代码中的补丁确保了流畅的编译体验。这意味着，用户不再需要为官方包无法编译或搭建复杂的编译环境而感到困扰。3. BigTop还提供了对Apache Ambari的支持，使用户能够轻松打包与Ambari兼容、满足安装要求的大数据软件包。

Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。本教程一步一步的教你如何使用dinky运行CDC pipline任务实现整库同步Doris并自动建表功能。Starrocks同理

Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。Kubernetes 是一个强大的容器编排平台，能够自动化应用的部署、扩展和管理。将 Flink 与 Kubernetes 集成，可以充分利用 Kubernetes 的优势，实现 Flink 任务的弹性伸缩、自动化部署和高可用性。

Dinky 是一个开箱即用的一站式实时计算平台，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架,致力于流批一体和湖仓一体的建设与实践。flink sql cli是flink 提供的一个sql执行工具，可以方便的进行sql预览，执行等操作

本教程使用三种不同的方式通过 Docker 完成 Dinky 的部署，如果你想要快速体验，推荐使用 standalone-server 镜像， 如果你想要体验比较完整的服务，推荐使用 docker-compose 启动服务。如果你已经有自己的数据库服务 你想要沿用这些基础服务，你可以参考沿用已有的 Mysql 、 Hadoop 和 Flink 服务完成部署。

SeaTunnel Web是一个Web项目，提供对作业、调度、运行和监控功能的可视化管理。它基于 SeaTunnel 连接器 API 和 SeaTunnel Zeta 引擎开发。它是一个可以独立部署的 Web 项目。它也是SeaTunnel的一个子项目。欲了解更多信息，请参阅SeaTunnel Web。

30 问最后一篇了，希望这 30 问能解答大家在使用 Apache Doris 或者选择 Apache Doris 的时候产生的各种疑虑。

这是继上次的 30 问上篇的中篇，也是 10 个问题，有些还是比较难回答的，欢迎大家在评论区或者私聊我来进行 battle~

在前段时间和 Apache Doris 一个数据体量比较大的测试用户沟通过程中，对方的多达十几人的大数据架构师团队就关于 Apache Doris 的各种特性和自身业务场景提出了众多问题，个人感觉非常有探讨的价值，一起来看看，如果有异议或者意见，可以评论留言，也可以私聊~

Apache Doris 作为一款 OLAP 实时数据仓库，在越来越多的中大型企业中逐步占据着主数仓这样的重要位置，主数仓不同于 OLAP 查询引擎的场景定位，对于数据的灾备恢复机制有比较高的要求，本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。