[容器化技术] 使用docker-compose搭建doris本地测试环境

已于 2024-01-13 20:12:53 修改
阅读量2.6k 收藏 4
点赞数 3
分类专栏： docker doris 文章标签： docker doris arm架构 m2芯片
于 2023-03-20 15:12:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44745147/article/details/129668005
版权

环境概述

系统 : mac os
芯片 : m2
芯片架构 : arm64 (可以通过uname -a 来查看)
doris版本 : 1.2.2
docker集群的分布

名称ip
doris-fe1-01172.20.80.2
doris-fe1-02172.20.80.3
doris-fe1-03172.20.80.4
doris-be1-01172.20.80.5
doris-fe1-02172.20.80.6
doris-fe1-03172.20.80.7

端口
image.png

编写docker compose文件

mkdir -p ~/docker/doris_3fe_3be
cd ~/docker/doris_3fe_3be

# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.  See the License for the
# specific language governing permissions and limitations
# under the License.
version: '3'
services:
  docker-fe-01:
    image: "apache/doris:1.2.2-fe-arm"
    container_name: "doris-fe-01"
    hostname: "fe-01"
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - FE_ID=1
    ports:
      - 8031:8030
      - 9031:9030
    volumes:
      - ~/docker/doris_3fe_3be/data/fe-01/doris-meta:/opt/apache-doris/fe/doris-meta
      - ~/docker/doris_3fe_3be/data/fe-01/conf:/opt/apache-doris/fe/conf
      - ~/docker/doris_3fe_3be/data/fe-01/log:/opt/apache-doris/fe/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.2
  docker-fe-02:
    image: "apache/doris:1.2.2-fe-arm"
    container_name: "doris-fe-02"
    hostname: "fe-02"
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - FE_ID=2
    ports:
      - 8032:8030
      - 9032:9030
    volumes:
      - ~/docker/doris_3fe_3be/data/fe-02/doris-meta:/opt/apache-doris/fe/doris-meta
      - ~/docker/doris_3fe_3be/data/fe-02/conf:/opt/apache-doris/fe/conf
      - ~/docker/doris_3fe_3be/data/fe-02/log:/opt/apache-doris/fe/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.3
  docker-fe-03:
    image: "apache/doris:1.2.2-fe-arm"
    container_name: "doris-fe-03"
    hostname: "fe-03"
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - FE_ID=3
    ports:
      - 8033:8030
      - 9033:9030
    volumes:
      - ~/docker/doris_3fe_3be/data/fe-03/doris-meta:/opt/apache-doris/fe/doris-meta
      - ~/docker/doris_3fe_3be/data/fe-03/conf:/opt/apache-doris/fe/conf
      - ~/docker/doris_3fe_3be/data/fe-03/log:/opt/apache-doris/fe/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.4
  docker-be-01:
    image: "apache/doris:1.2.2-be-arm"
    container_name: "doris-be-01"
    hostname: "be-01"
    depends_on:
      - docker-fe-01
      - docker-fe-02
      - docker-fe-03
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - BE_ADDR=172.20.80.5:9050
    ports:
      - 8041:8040
    volumes:
      - ~/docker/doris_3fe_3be/data/be-01/storage:/opt/apache-doris/be/storage
      - ~/docker/doris_3fe_3be/data/be-01/conf:/opt/apache-doris/be/conf
      - ~/docker/doris_3fe_3be/data/be-01/script:/docker-entrypoint-initdb.d
      - ~/docker/doris_3fe_3be/data/be-01/log:/opt/apache-doris/be/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.5
  docker-be-02:
    image: "apache/doris:1.2.2-be-arm"
    container_name: "doris-be-02"
    hostname: "be-02"
    depends_on:
      - docker-fe-01
      - docker-fe-02
      - docker-fe-03
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - BE_ADDR=172.20.80.6:9050
    ports:
      - 8042:8040
    volumes:
      - ~/docker/doris_3fe_3be/data/be-02/storage:/opt/apache-doris/be/storage
      - ~/docker/doris_3fe_3be/data/be-02/conf:/opt/apache-doris/be/conf
      - ~/docker/doris_3fe_3be/data/be-02/script:/docker-entrypoint-initdb.d
      - ~/docker/doris_3fe_3be/data/be-02/log:/opt/apache-doris/be/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.6
  docker-be-03:
    image: "apache/doris:1.2.2-be-arm"
    container_name: "doris-be-03"
    hostname: "be-03"
    depends_on:
      - docker-fe-01
      - docker-fe-02
      - docker-fe-03
    environment:
      - FE_SERVERS=fe1:172.20.80.2:9010,fe2:172.20.80.3:9010,fe3:172.20.80.4:9010
      - BE_ADDR=172.20.80.7:9050
    ports:
      - 8043:8040
    volumes:
      - ~/docker/doris_3fe_3be/data/be-03/storage:/opt/apache-doris/be/storage
      - ~/docker/doris_3fe_3be/data/be-03/conf:/opt/apache-doris/be/conf
      - ~/docker/doris_3fe_3be/data/be-03/script:/docker-entrypoint-initdb.d
      - ~/docker/doris_3fe_3be/data/be-03/log:/opt/apache-doris/be/log
    networks:
      doris_net:
        ipv4_address: 172.20.80.7
networks:
  doris_net:
    ipam:
      config:
        - subnet: 172.20.80.0/16

使用

在docker-compose.yaml同级目录下使用命令启动容器

docker-compose up -d

通过浏览器访问 : 127.0.0.1:9031 账号root 密码为空直接回车即可
以下是容器对宿主机映射出来的端口,通过这些端口可以访问到容器内
image.png
也可以使用命令行访问,such as

mysql -h 127.0.0.1 -P 9031 -uroot

注意

启动前必须修改的一个环境参数

MacOS 由于内部实现容器的方式不同，在部署时宿主机直接修改 max_map_count 值可能无法成功，需要先创建以下容器：

docker run -it --privileged --pid=host --name=change_count debian nsenter -t 1 -m -u -n -i sh

容器创建成功执行以下命令：
sysctl -w vm.max_map_count=2000000
然后 exit 退出，创建 Doris Docker 集群。
这里是官网的描述 : https://doris.apache.org/zh-CN/docs/dev/install/construct-docker/run-docker-cluster

docker 宿主机ping不通容器

我们在代码中开发过程中可能会用到容器的ip地址,例如上面的172.20.80.0/24这个网段,但是你会发现你是ping不通的,这里设计到了一些docker网络的一些知识,可以在网上看一下资料,这里只给出解决方法
安装路由转发镜像

# 现在连接器
brew install wenjunxiao/brew/docker-connector
# 加入路由
docker network ls --filter driver=bridge --format "{{.ID}}" | xargs docker network inspect --format "route {{range .IPAM.Config}}{{.Subnet}}{{end}}" >> /opt/homebrew/etc/docker-connector.conf
# 启动路由器
sudo /opt/homebrew/opt/docker-connector/bin/docker-connector -config /opt/homebrew/etc/docker-connector.conf
# 启动镜像
docker run -it -d --restart always --net host --cap-add NET_ADMIN --name connector wenjunxiao/mac-docker-connector

如果还是ping不通就重启一下上面的转发容器

参考文章

doris 官网 : https://doris.apache.org/
docker 宿主机ping不通容器 : https://www.haoyizebo.com/posts/fd0b9bd8/#docker-connector
docker

欢迎大家添加我的个人微信,有关大数据的问题一起讨论
微信号:AntgCode

Antgeek
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Docker compose方式部署doris
qq_25249543的博客
06-27 1235
doris docke-compose方式多节点部署
doris安装（docker方式）
R_Nelson的专栏
03-12 1297
services:docker-fe:- FE_ID=1ports:volumes:networks:doris_net:docker-be:ports:volumes:networks:doris_net:networks:doris_net:ipam:config:配置解释fe端口映射出来8030是web界面9030是查询端口这里创建了自定义的网络，并指定ipv4的地址池为：172.18.0.0/16fe容器的IP地址是172.18.0.2。
Doris实战笔记
Masterheaven的博客
05-29 2349
这是因为 build-env-for-0.15.0 版本镜像升级了 thrift(0.9 -> 0.13)，需要通过 --clean 命令强制使用新版本的 thrift 生成代码文件，否则会出现不兼容的代码。建议以挂载本地 Doris 源码目录的方式运行镜像，这样编译的产出二进制文件会存储在宿主机中，不会因为镜像退出而消失。第一个**-v**，本地服务器maven的.m2地址，: 后为docker内部地址。第二个**-v**，本地源码的地址，: 后为docker内部地址。编译完成后，产出文件在。
【docker-compose】07.Doris一键部署
机长红猪
09-12 575
首次执行需要拉取对应镜像,运行时间会比较长,建议配置阿里云镜像加速。1、前置条件需要安装docker、docker-compose。查看容器是否正常启动。
Apache Doris 之 Docker 部署篇
最新发布
欲望以提升热忱 毅力以磨平高山
06-18 1704
本文主要讲了如何构建一个单机版的 Doris 以便于学习使用，最后演示了官网的一个小示例仅供参考。遇到这些问题无解的时候给人一种深深的无力挫败感，如按照官网说的去做，可能真的就是从入门到放弃了。我花费了 4 个多小时踩了各种坑才最终将环境问题解决，希望大家可以避过这些坑，保持对学习的热忱，加油。
Docker-compose 进行Doris自动化编排部署
何以问_的博客
06-23 2013
在 wsl 使用 docker-compose 进行Doris自动化编排部署
使用 docker-compose 搭建 Doris 和 Hudi 测试环境
一只努力的微服务
07-04 1311
本机环境是 MacOS M1，系统版本为 12.5.1。
docker集群部署doris
u011250186的博客
01-14 3197
1. 前言 这篇文章主要讲述如何在 docker 环境下搭建 doris 集群，以及一些注意事项。开始前请参考下必备技能表 技能槽 熟练度 docker 熟悉 dockerfile 熟悉 docker-compose 熟悉 linux 熟悉 ctrl + c , ctrl + v 精通 如果已经具备以上技能，并满足对应的熟练度要求，那么请继续，反之去熟悉一下技能 2. 简介 引用官网一句话 支持对海量大数据进行快速分析的 MPP 数据库 官网地址：https:/...
docker-compose-lamp：使用Docker Compose构建的基本LAMP堆栈环境
02-02
运行docker-compose up -d 。 git clone https://github.com/sprintcube/docker-compose-lamp.git cd docker-compose-lamp/ cp sample.env .env // modify sample.env as needed docker-compose up -d // visit ...
docker-compose-linux-x86_64
09-21
Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像、参数、...
docker-compose 容器部署 mqtt
07-30
docker-compose 容器部署 mqtt 配置文件
podman-compose:使用podman运行docker-compose.yml的脚本
05-12
开发人员可以使用它来使用单个熟悉的YAML文件运行单机容器化堆栈对于类似生产的单机集装箱化环境，请考虑 |对于真实的东西（多节点集群），请检查任何生产的OpenShift / Kubernetes发行版，例如 。笔记该项目仍在...
使用docker-compose搭建高可用Apollo配置中心
09-24
使用Docker Compose进行部署，可以简化环境搭建过程，实现快速复制和扩展。 首先，我们需要了解Eureka。Eureka是Netflix开发的服务发现框架，它允许服务实例向注册中心注册自身，其他服务则通过注册中心查找并调用...
docker解决时间不同步的问题
917058965
04-04 968
docker run -d -p 3306:3306 -v /etc/timezone:/etc/timezone:ro mysql:5.6或者在dockerfile中volumes: - "/etc/timezone:/etc/timezone:ro" - "/etc/localtime:/etc/localtime:ro"
Doris Docker部署
weixin_43197722的博客
03-22 662
doris Docker部署
Apache Doris 入门教程03：使用Docker或Kubernetes部署Doris
sunjian286的专栏
07-02 2280
本文要介绍如何通过Docker或Kubernetes来构建和部署运行Doris集群
Doris-Docker环境搭建
北栀一刺的博客
02-24 596
服务器：腾讯云2核8G云服务器FE-Num：1BE-Num：3需要注意的是，mysql8系列跟以前5系列配置过程略有不同在初始化mysql之后需要在日志中找到mysql密码，具体参考mysql官方文档参考链接：https://developer.aliyun.com/article/920530#slide-10。
如何进行 Apache Doris 集群 Docker 快速部署
SelectDB
09-20 1460
本教程可指导有快速部署测试和 Docker 学习需求的同学，快速进行部署单节点 Apache Doris 集群或伪分布式 Apache Doris 集群。
docker-compose up -d所有容器退出后,docker-compose进程未退出
06-08
如果所有容器都退出了，但是`docker-compose`进程未退出，可以尝试以下几个方法来解决： 1. 使用`docker-compose down`命令来停止`docker-compose`，这个命令会停止所有容器并清除它们的状态。 ``` docker-compose down ``` 2. 如果上述命令无法停止`docker-compose`，可以使用`docker-compose kill`命令来强制停止所有容器。 ``` docker-compose kill ``` 3. 如果`docker-compose`进程仍然存在，可以使用`kill`命令来强制终止进程。 ``` sudo kill -9 <docker-compose进程ID> ``` 其中，`<docker-compose进程ID>`是`docker-compose`进程的ID，可以通过以下命令查找： ``` ps -ef | grep docker-compose ``` 会输出`docker-compose`进程的信息，其中第二列就是进程ID。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Antgeek

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值