AutoMQ 生态集成 Tigris

最新推荐文章于 2024-10-01 14:28:06 发布
最新推荐文章于 2024-10-01 14:28:06 发布
阅读量404 收藏 6
点赞数 4
文章标签： 云计算 云原生 Kafka 消息 计算 大数据 AWS AutoMQ 阿里云 腾讯云 GCP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AutoMQ/article/details/139495497
版权

Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。

你可以将 Tigris 用于多种场景，例如：

  • 实时应用程序的存储
  • 网页内容与媒体（图片、视频等）
  • 物联网（IoT）应用程序的存储
  • 数据分析、大数据及批处理
  • 机器学习模型和数据集的存储
  • 备份与归档 Tigris 兼容 S3 API。这意味着你可以在 Tigris 中使用标准的 S3 SDK、工具和库。本文将指导你如何将 AutoMQ[3] 集群部署在你私有数据中心的 Tigris 之上。

01

前置条件

  • 一个可以正常使用的 Tigris 环境。如果你还没有可用的 Tigris 环境，可以参考其官方文档[8]获取。
  • 准备 5 台主机用于部署 AutoMQ 集群。建议选择 2 核 16GB 内存的 Linux amd64 主机，并准备两个虚拟存储卷。
  • 从 AutoMQ Github Releases 下载最新的正式二进制安装包，用于安装 AutoMQ。
  • 为 Tigris 创建桶

          a.设置环境变量来配置 AWS CLI 需要的 Access Key 和 Secret Key。

export AWS_ACCESS_KEY_ID=tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyatwqUlAskBBDCNA
export AWS_SECRET_ACCESS_KEY=tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl

                 b.使用 AWS CLI 创建 S3 存储桶。

aws s3api create-bucket --bucket automq-data --endpoint=http://127.0.0.1:80
aws s3api create-bucket --bucket automq-ops --endpoint=http://127.0.0.1:80

Tips:

  • Tigris 是一种基于 Fly.io 基础架构的全球缓存、兼容 S3 的对象存储服务，创建和管理桶完全通过 Fly CLI 进行，详细请前往 Fly 官网查看关于 Tigris 的文档。
  • Tigris 提供了创建桶和 Access Key 的控制面板，你可以通过登陆 Fly 账号进行登陆查看。

02

安装并启动 AutoMQ 集群

配置S3 URL

第一步：生成 S3 URL

AutoMQ 提供了 automq-kafka-admin.sh 工具，用于快速启动 AutoMQ。只需提供包含所需 S3 接入点和身份认证信息的 S3 URL，即可一键启动 AutoMQ，无需手动生成集群 ID 或进行存储格式化等操作。

### 命令行使用示例
bin/automq-kafka-admin.sh generate-s3-url \ 
--s3-access-key=xxx  \ 
--s3-secret-key=yyy \ 
--s3-region=cn-northwest-1  \ 
--s3-endpoint=s3.cn-northwest-1.amazonaws.com.cn \ 
--s3-data-bucket=automq-data \ 
--s3-ops-bucket=automq-ops

关于 Fly[4]： fly.io 是一个容器化的部署平台，只需要一个 Dockerfile 文件就能部署代码到 fly.io 的服务器上，同时还自动生成域名。 Tigris 是一种基于 Fly 基础架构全球缓存的对象存储服务，在 Tigris 中，桶是固有的全局实体。这意味着桶中的对象存储在发起请求的区域。为了优化性能并减少延迟，这些对象会根据随时间观察到的访问模式智能地分布到其他区域。

输出结果
执行该命令后，将自动按以下阶段进行：

  1. 根据提供的 accessKey 和 secretKey 对 S3 基本功能进行探测，以验证 AutoMQ 和 S3 的兼容性。
  2. 根据身份信息，接入点信息生成 s3url。
  3. 根据 s3url 获取启动 AutoMQ 的命令示例。在命令中，将 --controller-list 和 --broker-list 替换为实际需要部署的 CONTROLLER 和 BROKER。执行结果示例如下：
############  Ping s3 ########################

[ OK ] Write s3 object
[ OK ] Read s3 object
[ OK ] Delete s3 object
[ OK ] Write s3 object
[ OK ] Upload s3 multipart object
[ OK ] Read s3 multipart object
[ OK ] Delete s3 object
############  String of s3url ################

Your s3url is:

s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=xxx&s3-secret-key=yyy&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA


############  Usage of s3url  ################
To start AutoMQ, generate the start commandline using s3url.
bin/automq-kafka-admin.sh generate-start-command 
--s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" 
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  
--broker-list="192.168.0.4:9092;192.168.0.5:9092"

TIPS: Please replace the controller-list and broker-list with your actual IP addresses.

第 2 步：生成启动命令列表

将上一步生成的命令中的 --controller-list 和 --broker-list 替换为你的主机信息，具体来说，将它们替换为环境准备中提到的 3 台 CONTROLLER 和 2 台 BROKER 的 IP 地址，并且使用默认的 9092 和 9093 端口。

 bin/automq-kafka-admin.sh generate-start-command 
--s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" 
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  
--broker-list="192.168.0.4:9092;192.168.0.5:9092"

输出结果
执行命令后，会生成用于启动 AutoMQ 的命令。 

 ############  Start Commandline ##############
To start an AutoMQ Kafka server, please navigate to the directory where your AutoMQ tgz file is located and run the following command.

Before running the command, make sure that Java 17 is installed on your host. You can verify the Java version by executing 'java -version'.

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=1 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.2:9092,CONTROLLER://192.168.0.2:9093 --override advertised.listeners=PLAINTEXT://192.168.0.2:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=2 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.3:9092,CONTROLLER://192.168.0.3:9093 --override advertised.listeners=PLAINTEXT://192.168.0.3:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=3 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.4:9092 --override advertised.listeners=PLAINTEXT://192.168.0.4:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=4 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.5:9092 --override advertised.listeners=PLAINTEXT://192.168.0.5:9092


TIPS: Start controllers first and then the brokers.

注意：node.id 默认从 0 开始自动生成。

第 3 步：启动 AutoMQ

要启动集群，请在预先指定的 CONTROLLER 或 BROKER 主机上依次执行上一步命令中的命令列表。例如，在 192.168.0.1 上启动第一个 CONTROLLER 进程，执行生成的启动命令列表中的第一条命令。

 bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

后台运行如果需要以后台模式运行，请在命令末尾添加以下代码：

 command > /dev/null 2>&1 &

至此，你已经完成了基于 Tigris 的 AutoMQ 集群部署，拥有了一个低成本、低延迟、秒级弹性的 Kafka 集群了。如果你需要进一步体验 AutoMQ 的秒级分区迁移、持续自平衡等特性，可以参考官方示例[7]。

参考资料 [1] Tigris: https://www.tigrisdata.com/ [2] Features of Tigris: https://www.tigrisdata.com/docs/overview/ [3] AutoMQ 1.0.6-rc1: https://github.com/AutoMQ/automq/releases [4] Fly: https://fly.io/ [5] WHAT IS AUTOMQ?: https://docs.automq.com/docs/automq-opensource/HSiEwHVfdiO7rWk34vKcVvcvn2Z [6] Example: Self-Balancing when Cluster Nodes Change: https://docs.automq.com/docs/automq-opensource/H6APwuugniOx7XktCiNcKnW8nYb [7] AutoMQ: GETTING STARTED: https://docs.automq.com/zh/docs/automq-opensource/EvqhwAkpriAomHklOUzcUtybn7g [8] Tigris: Getting Started: https://www.tigrisdata.com/docs/get-started/#getting-started

🌟 GitHub 地址：https://github.com/AutoMQ/automq
💻 官网：https://www.automq.com

AutoMQ
关注
开源布道 共创生态——2024 AutoMQ 布道师计划启动！
AutoMQ的博客
04-02 982
AutoMQ 布道师在 AutoMQ 社区中扮演着至关重要的角色，他们是 AutoMQ 社区的积极贡献者，是高效数据处理和流存储的倡导者，也是对云原生技术充满热忱的探索者。他们运用自己的专业能力，通过创作深度内容和社区互动，分享对 AutoMQ 产品的技术洞察与个人见解，将 AutoMQ 的产品优势和实用技巧传递给更广泛的用户群体，与 AutoMQ 一同成长。如果你也认同我们的产品和理念，那么欢迎你加入 AutoMQ 布道师的行列，和我们一起探索云原生技术的潜能，创造更开放、更多元、更具活力的开源生态。
Eclipse集成SVN的方法
FurtherSkyQ的博客
10-24 2034
很久没用过Eclipse了，从走出培训班开始，一直用的是IntelliJ IDEA，接手新的项目是用Dorado框架开发的，这就要求必须要使用Eclipse，好了，言归正传，我们来回顾下安装过程吧 前言：在通过第一种或者第二种方式去集成svn插件时，会出现读取文件超时或者不能下载到XXXX.jar的情况，别紧张，这是因为从国外网站下载时出现了网络超时之类的情况，找一个夜深人静的时候就可以了，哈哈...
Eclipse集成SVN插件
第三眼的思绪
03-30 717
首先，下载自己的Eclipse，如果未下载，可到http://eclipse.org/downloads/进行下载。 Eclipse上安装svn插件有两种方式，一种是直接到指定网址下载插件包，解压后将对应文件及文件夹copy到Eclipse的指定文件夹中，然后重启Eclipse；另一种是打开Eclipse后，直接在上方“help”菜单中找到“Install new software...”子
svn和myeclipse的集成
piao317110771的博客
09-22 140
1、下载site-1.6.18.zip http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=2240   2、解压site-1.6.18.zip   得到features和plugins两个文件夹      3、svn和myeclipse的集成过程   集成前myeclipse不会显示svn标志...
Tigris 开源项目教程
gitblog_00030的博客
08-27 531
Tigris 开源项目教程 tigrisTigris is an Open Source Serverless NoSQL Database and Search Platform.项目地址:https://gitcode.com/gh_mirrors/ti/tigris 项目介绍 Tigris 是一个全球分布的 S3 兼容对象存储服务，旨在为开发者提供低延迟的数据存储和访问服务。它支持多种用例...
org.tigris.subversion.javahl.ClientException: Attempted to lock an already-locked dir svn: Working c
你究竟是想一辈子卖糖水，还是希望获得改变世界的机会？
11-13 1439
Eclipse中插件svn提交出现：org.tigris.subversion.javahl.ClientException: Attempted to lock an already-locked dir svn: Working copy 产生原因：我从项目中复制的文件然后修改提交 解决办法：在项目上右键--Team---清理。然后控制台会出现形如“cleanup D:/eclipsewo
MyEclipse10.0 集成 SVN
博客
11-07 1597
一：下载服务端和客户端工具   服务端安装工具：Setup-Subversion-1.6.5.msi 客户端安装工具：TortoiseSVN 下载地址：http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=2240 注意：客户端安装版本，最好与自己操作系统版本相对应。此为64位  
持续集成之Ant的使用
T9Team的专栏
08-12 2690
如果项目是标准的maven结构项目，且打包无特别需求，直接执行maven 打个war包，或者直接部署都是很简单的事。 但事实上，很多情况都不是那么理想的。例如，本人项目中就涉及到不同环境的配置文件处理，前后台包的处理，增量包，全量包，主干包的处理，SVN server的操作…. 所有的这些，maven 是无法为您定制一套标准流程的。这时，您需要的ant. 任意的想法自行编码实现。  
MyEclipse集成SVN史上最简便方法
caicongyang
02-25 1452
最近准备跳槽，代码库从CVS换成SVN。由于MyEclipse不集成SVN，所以我们需要手动安装插件。 根据网上的两种方法： 1种是在线安装出现如下错误： 2.下载插件配置svn.link.的方式 重启MyEclipse发现并没有安装。 3.简便方法： 如果你跟我一样出现了上诉两种情况无法安装的情况，可以到http://subclipse.tigris.org/servlets/P
svn tigris subversion tortoise 使用
04-19
标题 "svn tigris subversion tortoise 使用" 涉及到的是版本控制系统Subversion（SVN）的使用，特别是TortoiseSVN这个图形化客户端。Subversion是一款开源的版本控制系统，用于管理文件和目录的变更历史，而...
Tigris-开源
04-27
**Tigris 开源软件详解** Tigris是一款基于C++开发的开源工具包，专为单粒子电子显微镜（Single Particle Electron Microscopy, SPEM）图像处理设计。在现代生物学、材料科学以及纳米技术等领域，电子显微镜作为一...
Myeclipse集成svn方法
03-21
【Myeclipse集成SVN方法详解】 在软件开发过程中，版本控制工具是非常关键的一环，SVN（Subversion）作为一款流行的版本控制系统，被广泛应用于团队协作。Myeclipse作为强大的Java开发集成环境，集成SVN能帮助...
eclipse与svn集成
09-26
【Eclipse与SVN集成详解】 Eclipse是一款广泛使用的Java集成开发环境，而Subversion（SVN）是一种版本控制系统，用于管理项目的源代码版本。将Eclipse与SVN集成是开发过程中常用的操作，以便实现代码的版本控制和...
SVN 集成到 MyEclipse
03-06
在IT领域，集成开发环境（IDE）与版本控制系统之间的无缝集成是提高开发效率、保障代码质量的关键环节之一。本文将围绕“SVN集成到MyEclipse”这一主题，深入探讨如何在MyEclipse环境中顺利集成Subversion（SVN），...
誉天Linux云计算课程学什么？为什么保障就业？
09-29 993
誉天Linux云计算课程学什么？为什么保障就业？
滚雪球学MySQL[11.2讲]：MySQL未来学习方向：大数据、云计算与迁移路径
最新发布
**My Coding Family**
10-01 1109
在上一期内容中，我们进行了课程回顾，系统整理了前几期中所学习的MySQL管理和优化的各项知识。从数据库设计、优化到性能调优，我们已经建立起了对MySQL系统管理的全面理解。然而，随着科技的发展和应用场景的变化，数据库的未来发展方向也逐渐延伸到了更广阔的领域，尤其是在大数据、云计算的快速普及下，MySQL也在不断演变以应对新的挑战。本期我们将重点探讨未来的学习方向，深入分析MySQL在大数据、云计算中的应用，以及在某些场景下从MySQL迁移到其他数据库系统的替代方案。
Docker从入门到精通_01 Docker：引领云计算的新浪潮
超哥的博客
09-25 353
Docker是一个开源的应用容器引擎，它采用了一种名为“集装箱化”的思想，将应用程序及其依赖项打包到一个独立的、可移植的容器中。Docker的出现极大地简化了应用程序的部署、管理和扩展过程，为容器云的发展提供了有力支持。Docker镜像Docker镜像是一个只读模板，用于创建Docker容器。它包含了应用程序及其依赖项的所有内容，可以在不同的Docker环境中重复使用。镜像的创建通常基于Dockerfile，这是一个文本文件，用于描述镜像的构建过程。Docker容器。
Linux云计算 |【第四阶段】RDBMS1-DAY5
小安的运维专栏
09-29 950
视图概述（创建视图VIEW、修改、查看、删除）、变量（全局变量、会话变量、用户变量、局部变量）、存储过程（创建、调用、删除存储过程）、流程控制结构（分支结构：if/case、循环结构while/loop/repeat）
Google SVN与MyEclipse集成教程
"这篇教程详细介绍了如何在Myeclipse环境中集成Google SVN，以便进行高效的开发工作。" 在本文中，我们将探讨如何将Google SVN与Myeclipse开发环境整合，以便利用版本控制系统进行协同开发和代码管理。首先，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值