DORIS集群部署

本文档详细介绍了如何在多台服务器上部署Apache Doris,包括FE、BE节点的安装配置,MySQL客户端设置,以及Broker的配置。通过一系列步骤,如下载Doris版本,配置环境,启动服务,确保所有组件正常运行并进行数据查询测试。
摘要由CSDN通过智能技术生成

下载doris版本

wget https://www.apache.org/dyn/mirrors/mirrors.cgi?action=download&filename=doris/1.1/1.1.0-rc05/apache-doris-1.1.0-bin-x86-jdk8.tar.gz

tar -zxvf  apache-doris-1.1.0-bin-x86-jdk8.tar.gz

mv apache-doris-1.1.0-bin-x86-jdk8  doris

eg :   hadoop-master-01 (fe,IP:192.168.0.1)

         hadoop-slave-01  (be,IP:192.168.0.2)

         hadoop-slave-02  (be,IP:192.168.0.3)

         hadoop-slave-03  (be,IP:192.168.0.4)

在hadoop-master-01  当前目录/home/bigdata

cd  /home/bigdata/doris/fe

mkdir doris-meta

cd /home/bigdata/doris/fe/conf

修改配置文件fe.conf

JAVA_OPTS="-Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$DATE"

JAVA_OPTS_FOR_JDK_9="-Xmx8192m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:$DORIS_HOME/log/fe.gc.log.$DATE:time"

### 关于在云服务上安装和部署Doris #### 环境需求与推荐配置 为了成功部署Doris,在硬件和软件环境中需考虑多个因素。对于大多数云计算平台而言,确保有足够的计算资源和支持必要的依赖项至关重要[^1]。 #### 使用预置环境简化部署过程 考虑到手动配置运行环境可能带来的复杂性和时间成本,可以利用官方提供的Docker镜像来加速这一流程。此方法不仅包含了启动Doris所需的一切组件(例如JDK),而且通过简单的`docker pull`指令就能获取最新版本的构建工具链,极大地方便了用户的初次尝试或测试用途[^2]。 ```bash docker pull apache/doris:build-env-ldb-toolchain-latest ``` #### 部署模式的选择 针对不同规模的应用场景,可以选择适合自己的集群扩展策略;而对于具体操作,则应遵循最佳实践以避免潜在的风险。值得注意的是,虽然可以通过调整操作系统内核参数如vm.swappiness试图优化性能表现,但这并不是被广泛认可的做法,尤其是在多变的云端环境下更应该谨慎对待此类改动[^3]。 #### Kubernetes上的自动化部署方案 如果目标是在Kubernetes集群部署Doris实例,那么借助kubectl命令行工具配合YAML文件定义的服务描述符将是实现自动化的有效途径之一。下面展示了创建前端(FE)节点、后端(BE)存储以及Operator控制器所需的几个关键步骤[^4]: ```yaml # 假设这些是预先准备好的资源配置文件路径 fe_st_yaml="path/to/doris-fe-st.yaml" fe_pv_yaml="path/to/doris-fe-pv.yaml" be_st_yaml="path/to/doris-be-st.yaml" be_pv_yaml="path/to/doris-be-pv.yaml" operator_yaml="path/to/operator.yaml" cluster_yaml="path/to/doriscluster.yaml" # 应用上述配置到名为"doris"命名空间下的K8s集群中 kubectl apply -f $fe_st_yaml kubectl apply -f $fe_pv_yaml kubectl apply -f $be_st_yaml kubectl apply -f $be_pv_yaml kubectl apply -f $operator_yaml -n doris kubectl apply -f $cluster_yaml -n doris ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值