目录
0. 相关文章链接
1. Doris中的Broker是什么
Broker 是 Doris 集群中一种可选进程,主要用于支持 Doris 读写远端存储上的文件和目录,如 HDFS、BOS 和 AFS 等。
Broker 通过提供一个 RPC 服务端口来提供服务,是一个无状态的 Java 进程,负责为远端存储的读写操作封装一些类 POSIX 的文件操作,如 open,pread,pwrite 等等。除此之外,Broker 不记录任何其他信息,所以包括远端存储的连接信息、文件信息、权限信息等等,都需要通过参数在 RPC 调用中传递给 Broker 进程,才能使得 Broker 能够正确读写文件。
Broker 仅作为一个数据通路,并不参与任何计算,因此仅需占用较少的内存。通常一个 Doris 系统中会部署一个或多个 Broker 进程。并且相同类型的 Broker 会组成一个组,并设定一个 名称(Broker name)。
2. 前置准备
对Doris中的 fe 和 be 的编译和安装可以查看前面的相关文档:
在进行broker编译安装之前,必须得进行上述的Doris编译安装步骤,相关的yum升级、doris安装包下载、docker下载和配置等都在上述博文中完成,此博文只介绍broker相关部分。
3. Broker编译
# 进入到docker容器中,doris中的broker目录下
cd /opt/doris/apache-doris-0.15.0-incubating-src/fs_brokers/apache_hdfs_broker
# 查看目录 和 目录下的具体文件
pwd
ll
# 执行编译
sh build.sh
进入到docker容器中,并进入到对应的doris中的broker目录下:
查看目录 和 目录下的具体文件:
执行编译,并编译成功:
结束之后,将output目录拷贝出来 ,已有doris0.15版本中broker包,下载链接如下:
CSDN资源下载: doris0.15版本中的apache_hdfs_broker插件-其它文档类资源-CSDN下载
百度网盘下载: 链接:https://pan.baidu.com/s/1UOQSc35qlUjQgvmfareMhQ 提取码:1234
注:Doris系列博文为通过对Doris官网学习记录所写,其中有加入个人理解,如有不足,请各位读者谅解☺☺☺
注:其他相关文章链接由此进 -> 数据库 文章汇总