基于 MinIO 部署单实例 Databend | 新手篇（1）

最新推荐文章于 2024-01-05 19:21:26 发布
最新推荐文章于 2024-01-05 19:21:26 发布
阅读量566 收藏 2
点赞数
文章标签： 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Databend/article/details/127545768
版权

MinIO是个高性能，云原生的对象存储。它提供了与 Amazon S3 云存储服务兼容的 API，使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。轻量，操作简单。

Databend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点：

  • 开源 Cloud Data Warehouse 明星项目

  • Vectorized Execution 和 Pull&Push-Based Processor Model

  • 真正的存储、计算分离架构，高性能、低成本，按需按量使用

  • 完整的数据库支持，兼容 MySQL, Clickhouse 协议

  • 支持事务，支持 Time Travel, Database Clone, Data Share 等功能

  • 支持基于同一份数据的多租户读写、共享操作

开源地址：https://github.com/datafuselabs/databend/

官方文档：https://databend.rs

理解Databend 架构

图片

Databend 是一个开源的云原生数仓，为了更好的适用于云环境，Databend 从架构上分为三层：MetaService 层，Query 层，存储层。

MetaService 层

这是 Databend 司令部，存储：权限定义，表结构定义，事务管理，表和数据的关联以及数据共享的整体逻辑。推荐集群方式部署。

Query 层

Query 层是 Databend 中直接和用户交互及调用存储的一层。用户通过 SQL 和 Databend 交互，Query层接到用户的请求后读写存储层。该层不用实时在线，使用时拉起，同时也支持动态扩容及收缩。

存储层

Databend 的存储层推荐使用云上的对象存储或是自建对象存储。Databend 在存储引擎这块使用了大数据生态的：Parquet 格式，同时引入了: min/max 索引，稀疏索引，bloom 索引等。

Databend 支持的部署环境

部署环境
Databend
是否开源
是
AWS S3
支持部署
Google GCS
支持部署
Azure Blob
支持部署
阿里云 OSS
支持部署
腾讯 COS 
支持部署
华为云 OBS
支持部署
MinIO
支持部署
Ceph
支持部署

青云 QingStor

支持部署

详细参考：https://databend.rs/doc/deploy/deploying-databend

Databend 支持的部署环境（单机）

实质上 MinIO 环境单机搭建比较容易，但后期的扩容还是比较麻烦，MinIO + Databend 比较适合走一下流程，这个环境也是 Databend 很多同事的开发环境。但 Databend 真正的测试及性能测试都是基于 AWS S3 环境运行。

Databend 部署方式比较简单，这里以 Linux 下 MinIO + Databend 单机部署部署为例，如果你是在公有云上部署，就更加简单。

软件
位置
监听端口
MinIO
/data/minio
9900
Databend
/data/databend
mysql:3307
Http: 8000
Clickhouse http: 8124

Minio 搭建

官方地址：https://min.io/

从官方下载 MinIO 并启动

cd /data 
mkdir minio
cd minio 
wget https://dl.min.io/server/minio/release/linux-amd64/minio
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
#./minio server ./data
./minio server --address :9900 ./data

利用 WEB 界面打开 MinIO 管理测，打开后创建一个: databend bucket.

图片

完成这个 bucket 创建后，MinIO 部署部分已经完成。

Databend 下载

Databend 下载建议可以从 Databend 的开源项目的 repo 里下载，每天都会有一个对应的 release , 具体的地址：https://github.com/datafuselabs/databend/tags

国内下载可以通过 aws s3 下载：https://databend.rs/download

文件类型
适用平台
  • databend-version-nightly-aarch64-apple-darwin.tar.gz
适用于 m1 的mac系统
  • databend-version-nightly-aarch64-unknown-linux-musl.tar.gz
适用于 arm 的  linux
  • databend-version-nightly-x86_64-apple-darwin.tar.gz
适用于 x64 的 mac 系统
  • databend-version-nightly-x86_64-unknown-linux-musl.tar.gz
适用于 x64 的 linux
  • source code
对应的源码

一般 Linux 下我们下载 musl 包就可以，注意是 arm 或 x86_64 平台的区分。

下载地址：

https://repo.databend.rs/databend/v0.8.80-nightly/databend-v0.8.80-nightly-x86_64-unknown-linux-musl.tar.gz

对版本选择建议下载每天的最新版本，Databend 开发速度比较快，很多新特性合并的也比较快。部署 Databend ：

cd /data
mkdir databend 
wget https://repo.databend.rs/databend/v0.8.80-nightly/databend-v0.8.80-nightly-x86_64-unknown-linux-musl.tar.gz
cd databend
tar zxvf ../databend-v0.8.25-nightly-x86_64-unknown-linux-musl.tar.gz

图片

Databend 布置

默认下载的配置文件，需要修改 databend-query 的配置就可以使用了。

vim configs/databend-query.toml

修改部分

# Storage config.
[storage]
# fs | s3 | azblob | obs
type = "s3"

# Set a local folder to store your data.
# Comment out this block if you're NOT using local file system as storage.
[storage.fs]
data_path = "./.databend/stateless_test_data"

# To use S3-compatible object storage, uncomment this block and set your values.
[storage.s3]
bucket = "databend"
endpoint_url = "https://127.0.0.1:9900"
access_key_id = "minioadmin"
secret_access_key = "minioadmin"

Databend 启动 & 环境校验

启动 Databend
./script/start.sh
ps axu |grep databend
关闭 Databend
./script/stop.sh
连接 Databend

Databend 默认对外有三个服务端口：

MySQL : 3307 支持 MySQL cli，应用程序连接。

Clickhouse: 8124 Clickhouse http handler 协议

这里我们以 MySQL client 连接举例：

mysql -h 127.0.0.1 -P3307 -uroot

需要注意 root 可以通过 localhost 实现无密码登录。Databend 权限管理参考了 MySQL 8.0 的设计，可以按 MySQL 8.0 的用户管理来管理 Databend 的用户。

Clickhouse 协议使用：https://databend.rs/doc/reference/api/clickhouse-handler

到此 Databend 单机基本部署就完成了。使用上就可以相当于使用一个 MySQL 一样来使用了。

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

  • Databend 文档：https://databend.rs/

  • Twitter：https://twitter.com/Datafuse_Labs

  • Slack：https://datafusecloud.slack.com/

  • Wechat：Databend

  • GitHub ：https://github.com/datafuselabs/databend

图片

Databend
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Minio 事务日志的实现及作用
将臣三代的博客
07-04 548
MinIO 集群通过事务日志机制确保数据的一致性和持久性。事务日志记录所有写操作，在系统故障时通过重放日志恢复数据状态。实现事务日志机制的关键技术点包括持久化存储、同步机制和故障恢复。通过这些机制，MinIO 能够在分布式环境中提供高可靠性和数据一致性。在 MinIO 中，日志和数据的关系通过事务日志机制紧密关联。事务日志先行记录所有的写操作，确保即使在数据写入失败或系统故障时，数据的一致性和完整性依然能够得到保障。通过日志记录、重试机制和故障恢复，MinIO 确保了高可靠性的数据存储和管理。
Databend使用入门
hys__handsome的博客
08-28 897
云数仓Databend使用的一些重要的笔记
Databend 集群部署 | 新手篇(2)
Databend的博客
11-07 599
，其中 databend-query 是计算节点，无状态模式，这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群，其中 databend-query 可以是一个节点，而且可做到不使用就关闭。如果你使用的是公有云上对象存储，就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色：databend-meta 集群和 databend-query 集群。
构建并运行 Databend
Databend的博客
01-09 310
今天 Databend 合并了一个重大重构，expression[1] 正式合并到 “main” 分支，为 Databend 装载了全新的静态类型系统和表达式计算框架。接下来一到两周内会进行全面测试，这个期间 nightly release 停发。如果大家对这套 New Expression 系统感兴趣，不妨参考这篇文章，亲自动手体验一下。采用 “make” 构建的方式会调用预先设定好的脚本，脚本位于 “scripts/build” 路径下。
Databend 的安装配置和使用
小发菜
01-05 1283
了解新型数据库，介绍 Databend 的安装配置和使用。
带你了解 Databend “发布列车”
Databend的博客
12-16 241
「什么是 Databend 发布通道呢？」 Databend 的发布过程遵循“发布列车”模型，并使用了 Rust、Firefox 和 Chrome，以及 “feature staging” 等等。 但是在早期的 Databend 只会升级 nightly 版本号，当一个 nightly 版本准备 beta 的时候，我们就只会留下一个 beta 版本，脱离 nightly 版本。 接下来，就让我们开始了解 Databend 如何进行发布的吧～以下主要是来自 Rust 的文档 “How Rust is Made
minio单机部署 docker||本地
qq_40822492的博客
06-23 527
minio单机部署经验；防踩坑
MinIO部署文件、文档
07-26
1. 单节点部署：适合测试和开发环境，只需一个服务器或虚拟机即可运行MinIO实例。 2. 多节点分布式部署：生产环境通常选择这种方式，通过多个节点构成一个集群，提供高可用性和数据冗余，保证服务的稳定性和数据的...
minio 安装部署包 + 部署文档
最新发布
03-21
minio 安装部署包 + 部署文档（单机+集群）
minio分布式部署搭建文档及安装程序
02-16
1. **节点配置**：MinIO分布式部署需要至少四个服务器或节点。每个节点都应配置为独立的服务器，具备足够的存储空间和网络带宽。 2. **数据一致性**：MinIO使用RAID-0风格的数据分片策略，将对象分割成多个部分并...
Minio部署（单机/单机EC/集群）
sosozha的博客
07-07 1万+
minio搭建
Databend 性能剖析方法与工具
Databend的博客
07-21 440
Databend整合了一些性能剖析工具，可以方便进行深入分析。本文将会介绍如何进行CPU/MemoryProfiling。
MinIO部署，以及扩容
热门推荐
qq_35036073的博客
08-27 1万+
高可用 单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。 例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。 注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类
Minio（一） | 搭建Minio服务器（单节点）
qq_38425803的博客
03-23 6490
文章目录Minio介绍简述特点单节点搭建Minio下载Minio。创建目录存放minio文件和数据准备Minio.service Minio介绍 简述         MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
etcd+minio联邦扩容方案
月七
05-18 3685
文章目录场景一、etcd介绍二、准备三、配置1.etcd2.minio3.etcd Manager4.测试总结 场景 项目每日图片增加量约为20G，minio且为单机服务，存在有磁盘空间使用完导致图片存储失败情况。 为解决此问题，需要对磁盘空间进行扩容。但扩容方案只能是新增磁盘。这意味着需要解决新旧磁盘数据共享问题。 一、etcd介绍 [引用]每个 etcd cluster 都是有若干个 member 组成的，每个 member 是一个独立运行的 etcd 实例，单台机器上可以运行多个 member。
分布式事务控制方案
qq_47949604的博客
09-16 184
一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据，这里存在分布式事务问题。
minio对象存储原理_使用Minio最小化对象存储
cumo7370的博客
06-11 2581
minio对象存储原理 在2007年， GlusterFS彻底改变了跨组织实施大型分布式存储解决方案的方式-现在任何人都可以使用商品硬件为使用GlusterFS的媒体流，数据分析和其他数据密集型任务创建分布式存储解决方案。 红帽在2011年收购了 GlusterFS。最近，GlusterFS的创始人之一Anand Babu Periasamy宣布了一个新的开源项目Minio 。 Minio旨在使...
Databend 在数据归档分析中的优秀表现
Databend的博客
06-13 291
本篇文章基于 Databend 的用户测试体验整理，详情可戳原文链接查看，正文总体分为四部分：atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点：Databend 官方教程：Deploy Databend With Alibaba Cloud OSS | DatabendDatabend 部署产品架构图Query 计算节点：用于协议的解析、SQL的计算下推。Meta 元数据节点：用于存储元数
minio windows 单节点单驱动部署
04-29
在部署Minio时，需要首先确定节点和驱动的数量，对于单节点单驱动的部署，只需要一台计算机和一个驱动器即可。以下是Minio在Windows系统上的具体部署流程： 1. 下载Minio 首先需要从官网 https://min.io/download ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值