开源、云原生且实时分析型的现代数据仓库DataBend的介绍，及其与其它开源文件存储的结合使用实例_databend功能(1)

本文链接：https://blog.csdn.net/2401_84181058/article/details/138543671

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

sudo chown $(i d - u) :$ (id -g) /var/lib/databend


#### 3. 配置与运行 Databend


Databend 提供了单机模式和分布式模式的部署方式。这里我们先介绍单机模式下的配置与启动：

运行一个单节点的 Databend 服务

./target/release/databend-server --config-path=config.toml.example

或者如果你想在后台运行（daemon mode），可以加上 `--log-file` 参数指定日志文件

./target/release/databend-server --config-path=config.toml.example --log-file=/var/log/databend/server.log &


上述命令中，`config.toml.example` 是一个示例配置文件，你需要根据实际需求修改它。例如设置监听地址、端口、数据目录等信息。


#### 4. 配置数据库连接


默认情况下，Databend 启动后会在本地监听 `3307` 端口作为 SQL 查询接口。你可以通过任何支持 MySQL 协议的客户端连接到 Databend。

mysql -h localhost -P 3307 -u root


#### 5. 配置持久化存储 (可选)


如果你希望将数据持久化存储在某个位置（比如 S3 或 MinIO），则需要在配置文件中添加对应的存储后端，并提供相应的访问凭证。


#### 6. 分布式部署


对于生产环境或大规模测试，你可能需要部署多节点集群。请参考 Databend 的 Kubernetes Helm Chart 或 Docker Compose 文件来搭建分布式集群。


#### 注意事项：


* 在正式环境中，请确保正确配置安全性相关的选项，如密码加密、访问控制等。
* 对于持久化存储支持，Databend 可以配置为使用各种对象存储服务，包括但不限于 AWS S3、MinIO、Google Cloud Storage 等。


请查阅最新版的 Databend 文档获取详细指导和最佳实践：[Databend - The Future of Cloud Data Analytics. | Databend]( )


## 基于Docker安装和配置使用


atabend 提供了 Docker 镜像，使得用户可以通过 Docker 容器快速部署和运行 Databend 数据库。以下是一个使用 Docker 安装 Databend 的详细配置步骤：


#### 1. 拉取 Databend Docker 镜像


首先，确保已安装 Docker，并在终端中执行以下命令以拉取最新的 Databend Docker 镜像。请注意，实际镜像名可能会随着版本更新而变化，请参考官方文档获取最新版本。

docker pull databend-docker:databend-query # 查询引擎（databend-query）
docker pull databend-docker:databend-meta # 元数据服务（databend-meta）


#### 2. 创建用于持久化存储的目录（可选）


为了在容器重启后仍能保留数据，可以创建本地主机上的目录用于持久化存储元数据和服务数据：

mkdir -p /path/to/databend/meta-data
mkdir -p /path/to/databend/query-data


#### 3. 运行 Databend Meta 服务

docker run -d --name databend-meta
-v /path/to/databend/meta-data:/var/lib/databend-meta
-e “DATABEND_QUERY_HTTP_PORT=8001”
databend-docker:databend-meta


这里，`-v` 参数将主机上的目录映射到容器内的 `/var/lib/databend-meta` 目录。


#### 4. 运行 Databend Query 引擎

docker run -d --name databend-query
–link databend-meta:databend-meta
-v /path/to/databend/query-data:/var/lib/databend-query
-p 8080:8080
databend-docker:databend-query


这里的 `--link` 参数用于连接查询引擎与元数据服务容器，使查询引擎能够访问元数据服务。同时 `-p` 参数用于映射查询引擎的 HTTP 端口到宿主机上。


#### 5. 配置环境变量（可选）


根据需要，可以设置其他环境变量来配置数据库的行为，例如日志级别、监听地址等。请查阅 Databend 文档了解可用的环境变量列表。


#### 6. 访问和测试 Databend


启动容器后，可以通过如下方式访问 Databend 查询引擎：


* **HTTP API**: 在浏览器或 Postman 中访问 `http://localhost:8080/` （如果映射的是本机端口）。
* **SQL Client**：通过 MySQL 客户端工具如 MySQL Workbench 或者命令行工具连接至 Databend，端口通常为 `3307`，用户名和密码可能需要查看具体文档或环境变量配置。


请始终参照最新的官方文档进行操作，因为具体的参数和配置可能会随时间发生变化。以上示例是基于假设的默认配置给出的。


## Centos 9下安装和使用


在CentOS 9系统上安装Databend的大致步骤（以最新的官方文档为准）：


#### 1. 确保环境准备就绪


* CentOS 9系统已经安装了必要的开发工具和依赖库。
* Rust编程语言环境已安装。

更新系统并安装必要软件包

sudo dnf update -y
sudo dnf install -y curl git make gcc-c++ zlib-devel openssl-devel

安装Rust

curl --proto ‘=https’ --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env


#### 2. 安装Databend


* 使用Rust的Cargo来构建和安装Databend的服务器部分（metasrv和databend-query）。

克隆Databend源代码

git clone https://github.com/datafuselabs/databend.git
cd databend

构建并安装

cargo build --release --bin metasrv
cargo build --release --bin databend-query

创建用于存放运行时数据的目录

mkdir -p /var/lib/databend/meta /var/lib/databend/data


#### 3. 配置与启动服务


* 配置Databend的元数据存储、日志路径等参数，并启动服务。

编写配置文件（这里仅提供示例配置）

cat << EOF > /etc/databend/config.toml
[meta_service]
listen = “127.0.0.1:9191”
data_dir = “/var/lib/databend/meta”

[databend_query]
http_server_address = “0.0.0.0:8000”
query_pool_size = 4
local_data_path = “/var/lib/databend/data”
EOF

启动metasrv服务

./target/release/metasrv --config /etc/databend/config.toml &

启动databend-query服务

./target/release/databend-query --config /etc/databend/config.toml &


#### 4. 验证安装


* 在本地或通过网络连接到Databend Query API端口进行验证。

如果是在本地机器上安装，可以尝试执行一个简单的查询

curl -G “http://localhost:8000/v1/query” --data-urlencode ‘sql=SELECT version()’

应该返回类似如下信息：

{“results”:[{“meta”:{“columns”:[{“name”:“version”,“type”:5}],“rows”:[[“nightly”]]},“stats”:{“elapsed_time”:…}}]}


#### 注意事项：


* 实际部署中，您可能需要为Databend设置持久化存储，比如挂载适当的磁盘分区或使用云存储服务。
* 生产环境中，请确保使用稳定的版本而非nightly版，并根据官方推荐的最佳实践进行配置和管理。
* Databend还支持通过Docker容器方式部署，对于生产部署而言，采用Docker Compose或者Kubernetes等方式更加便捷且易于维护。


请始终查阅最新版的Databend官方文档获取详细的安装指导：[https://docs.databend.rs/]( )


![](https://img-blog.csdnimg.cn/direct/6f2381220db5490da8bc972305266be3.png)


## **Databend、lakeFS 和 MinIO三者结合**


[高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例-CSDN博客]( )


  


### **Databend、lakeFS 和 MinIO 的功能介绍：**


1. **Databend**：




![img](https://img-blog.csdnimg.cn/img_convert/25e3e11c1c205eb23e66b17dfa9911ff.png)
![img](https://img-blog.csdnimg.cn/img_convert/0f1d30c8b665c01b4aca803e75a54c43.png)
![img](https://img-blog.csdnimg.cn/img_convert/1b74787bfe9d14f25ae5aecc99908328.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

715083250662)]
[外链图片转存中...(img-OJxCoXC7-1715083250663)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**