atbigapp的博客

作者：王斐，ebay Hadoop 团队软件工程师，Apache Kyuubi PMC member，Apache Celeborn Committer。简介：Apache Celeborn 是一个统一的大数据中间服务，致力于提高不同MapReduce引擎的效率和弹性。为了Spark on Kubernetes的弹性以及解决External Shuffle Service的灵活性和稳定性不足，eBay引入 Celeborn 作为Remote Shuffle Service。本文介绍了eBay基于最新 RES

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。

如果说互联网的目标就是连接一切，那么推荐系统的作用就是建立更加有效率的连接，推荐系统可以更有效率的连接用户与内容和服务，节约了大量的时间和成本。如果把推荐系统简单拆开来看，推荐系统主要是由数据、算法、架构三个方面组成。

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。启动脚本中，强制校验了为三处环境变量值，若不满足则无法正常启动进程，这三处环境变量值的。校验的情况，会在后续版本中尽快优化掉，带来的不便敬请谅解~脚本，或通过临时启动一个 be 的容器，将容器内在。

lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。

离线任务跑的好好的，忽然有一天失败了，查看海豚上的任务执行日志发现是hiveserver2连接超时了。

pytorch作为目前最主流的开源机器学习库之一，凭借庞大的社区支持和易于开发的特性，收获了一大波开发者与项目分支。像我们熟知的“GLM”，“YOLO”,"GPT-Sovits"，“Stable Diffusion”......这些开源项目中都有pytorch的身影。不管是现在的大语言模型或者是一些专用模型都已经离不开pytorch。所以，我们现在就来学习如何安装这个强大的机器学习库吧！

前两天xshell不让用了，刚好一台新电脑要装一个远程连接工具，准备试试其他。网上找了一些资料整理如下。欢迎各位看官评论区说出你在使用的工具，期待你的使用经验分享（有偿投稿到本专栏）。如对本文有所补充可以申请编辑权限。

Docker flile编写

Dolphinscheduler 3.2.0版本参数传递并使用switch任务进行判断

大家一起来探讨SeaTunnel方案，简化当前Dinky与chunjun的双轨模式（Dinky仅用于实时同步，chunjun负责离线处理）。提议小组一起共议，并由大数据组构建demo验证其能否融合流批处理于Zeus平台，实现统一开发与运维，降低跨平台障碍与学习成本。技术应聚焦高效而非堆砌，共同努力推动架构优化。

【Apache Doris】数据均衡问题排查指南

ZooKeeper 是一个高性能分布式的开源协调服务，用于构建分布式应用程序和服务。 一个 ZooKeeper 集群通常由多个 ZooKeeper 服务器组成，这些服务器分布在不同的物理节点上。在集群中，每个服务器都知道其他服务器的存在，并且彼此协调工作以提供一致性和可用性。

在我们日常使用Dinky过程中，数据源是必不可少的，它可以帮我们快速创建Flink sql，查询数据，检查元数据等功能，但是对于连接模板与连接配置以及其他功能你都了解吗？下面我来讲一下DInky 数据源的玩法全流程，希望对你开发有帮助。

Docker 容器导入导出

注册仓库dockerhup并创建仓库，注册docker hup步骤-创建仓库步骤省略

Dcoker 基本命令

Dorcker 的安装

看图学sql之sql中的子查询

BigTop的应用场景：1. BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb包的过程，使之变得快捷且高效。2. BigTop集成了编译过程中所需的复杂依赖关系，有效解决了常见的编译错误，并且通过代码中的补丁确保了流畅的编译体验。这意味着，用户不再需要为官方包无法编译或搭建复杂的编译环境而感到困扰。3. BigTop还提供了对Apache Ambari的支持，使用户能够轻松打包与Ambari兼容、满足安装要求的大数据软件包。