Centos7 编译安装Doris与测试

最新推荐文章于 2024-06-29 09:24:24 发布
最新推荐文章于 2024-06-29 09:24:24 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ciqingloveless/article/details/113308919
版权
本文档详细介绍了如何在CentOS7环境下使用Docker来编译安装DorisDB，并进行集群配置和测试。首先，通过yum安装Docker，然后下载并加载Docker镜像。接着，编译安装DorisDB，包括FE和BE节点的配置，以及启动。同时，还涉及到Broker的部署和配置。最后，展示了创建数据库、表以及数据导入和业务测试的步骤。
摘要由CSDN通过智能技术生成

Centos7 编译安装DorisDB与测试

安装

只介绍docke模式

  1. 下载

    https://github.com/DorisDB/incubator-doris

  2. 安装docker

    测试过实体机编译，问题过多，所以改为Docker编译，但是Docker支持的操作系统版本为Centos7以上

     yum update
 yum install -y yum-utils device-mapper-persistent-data lvm2
 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
 yum list docker-ce --showduplicates | sort -r
 yum install docker-ce
 systemctl start docker

  3. 配置docker并启动

    去这个网站下载镜像

     https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5#docker-编译环境镜像下载

 docker load --input apachedoris-build-env-1.2
 # 冒号左边操作系统路径右边docker镜像路径
 docker run -it -v /app/docker/maven/Repository/:/root/.m2 -v /app/docker/incubator-doris-DORIS-0.13.0-release/:/root/incubator-doris-DORIS-0.13.0-release/ apachedoris/doris-dev:build-env-1.2

  4. 将文件上传至宿主机

     sh build.sh

  5. 集群安装

     mkdir -p /app/doris
 cp -r fe /app/doris
 cp -r be /app/doris
 # fe节点
 mkdir -p /app/doris/fe/doris-meta/
 # be节点
 mkdir -p /app/doris/be/storage
 vi .bash_profile
 # fe节点
 export DORIS_HOME=/app/doris/fe
 # be节点
 export DORIS_HOME=/app/doris/be

 vi fe.conf
 # 必须配置此项 必须是(子网掩码必须相同)
 priority_networks=10.10.100.24/24

 vi be.conf

 priority_networks = 10.10.100.25/24

  6. 修改fe配置文件

    例名称端口名称默认端口通讯方向说明
    Ebe_port9060FE --> BEBE 上 thrift server 的端口，用于接收来自 FE 的请求
    Ewebserver_port8040BE <–> BEBE 上的 http server 的端口
    Eheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于接收来自 FE 的心跳
    Ebrpc_port*8060FE<–>BE, BE <–> BEBE 上的 brpc 端口，用于 BE 之间通讯
    Ehttp_port *8030FE <–> FE，用户 FE 上的 http server 端口
    Erpc_port9020BE --> FE, FE <–> FEFE 上的 thrift server 端口
    Equery_port9030用户FE 上的 mysql server 端口
    Eedit_log_port9010FE <–> FEFE 上的 bdbje 之间通信用的端口
    rokerbroker_ipc_port8000FE --> Broker, BE --> BrokerBroker 上的 thrift server，用于接收请求

7.启动fe

	./start_fe.sh --daemon

部署配置doris

  1. 将BE节点添加到FE

    登录FE节点

     ./mysql --host 10.10.100.24 --port 19030 --user root

 ALTER SYSTEM ADD BACKEND "10.10.100.25:19050";

  2. 启动BE节点

     sh bin/start_be.sh --daemon

  3. 查看BE状态

     SHOW PROC '/backends';

    使用 mysql-client 连接到 FE，并执行 SHOW PROC ‘/backends’; 查看 BE 运行情况。如一切正常，isAlive 列应为 true

  4. 部署Broker

     cd /root/incubator-doris-DORIS-0.13.15-release/fs_brokers/apache_hdfs_broker
 ./build.sh

    生成文件在output里

     mv /app/doris/apache_hdfs_broker /app/doris/broker
 # 所有节点全部启动
 sh bin/start_broker.sh --daemon

 ALTER SYSTEM ADD BROKER broker_name "sit1:18000","sit2:18000","sit3:18000","sit4:18000";
 SHOW PROC "/brokers";

配置fs_broker

配置

  1. 修改Root密码

     SET PASSWORD FOR 'root' = PASSWORD('root');

  2. 添加新用户

     CREATE USER 'dams' IDENTIFIED BY 'dams';
 GRANT ALL ON iptv TO dams;

#2.3 建表

  1. 创建数据库

     CREATE DATABASE iptv;

  2. 创建复合分区表

     # 动态分区

 CREATE TABLE personclusterdata
 (
     userid VARCHAR(1024),
 	time DATE,
 	type VARCHAR(20),
 	pclusterid VARCHAR(200)
 )
 PARTITION BY RANGE(time)()
 DISTRIBUTED BY HASH(userid,type)
 PROPERTIES
 (
     "dynamic_partition.enable" = "true",
     "dynamic_partition.time_unit" = "DAY",
     "dynamic_partition.start" = "-360",
     "dynamic_partition.end" = "3",
     "dynamic_partition.prefix" = "p",
 	"dynamic_partition.replication_num" = "1",
     "dynamic_partition.buckets" = "32"
 );

 #非动态分区

 CREATE TABLE personclusterdata
 (
     userid VARCHAR(1024),
     time DATE,
     type VARCHAR(20),
     pclusterid VARCHAR(200)
 )
 PARTITION BY RANGE(time)
 (
     PARTITION p20201128 VALUES LESS THAN ('20201128'),
     PARTITION p20201129 VALUES LESS THAN ('20201129')
 )
 DISTRIBUTED BY HASH(userid,type) BUCKETS 32
 PROPERTIES("replication_num" = "2");


 # 查询创建情况

 SHOW DYNAMIC PARTITION TABLES;
 show partitions from personclusterdata;
 SHOW LOAD WHERE LABEL = "bbb";
 CANCEL LOAD WHERE LABEL = "iptv.personclusterdata";
 HELP SHOW LOAD

  3. 从hdfs导入数据

     LOAD LABEL bbb
 (
 DATA INFILE("hdfs://10.0.9.53:8020/zhangniantest/*")
 INTO TABLE `personclusterdata`
 COLUMNS TERMINATED BY "|"
 (t_userid,t_type,t_pclusterid,t_time)
 SET (
   userid=t_userid,
   type=t_type,
   pclusterid=t_pclusterid,
   time=t_time
 )
 )
 WITH BROKER broker_name ("username"="hadoop", "password"="hadoop");

  4. 正式业务测试

     CREATE TABLE VOD_TIME_COL
 (
   vodname    VARCHAR(500),
   vodtime    INT,
   time       DATE,
   updatetime DATETIME,
   state      INT,
   version    INT,
   length     INT,
   times      DOUBLE,
   playtimes  INT,
   pnum       INT,
   colid      VARCHAR(400),
   stbtype    INT
 )
 PARTITION BY RANGE(time)
 (
     PARTITION p20201128 VALUES LESS THAN ('20210131'),
     PARTITION p20201129 VALUES LESS THAN ('20210201')
 )
 DISTRIBUTED BY HASH(colid) BUCKETS 32
 PROPERTIES(
 "replication_num" = "2",
 "colocate_with" = "colid"
 
 );
 
 
 create table VOD_SERIES_TIME_COL
 (
   vodseriesname VARCHAR(200),
   vodseriestime INT,
   time          DATE,
   updatetime    DATETIME,
   state         INT,
   version       INT,
   length        INT,
   times         DOUBLE,
   num           INT,
   playtimes     INT,
   stbtype       INT,
   pnum          INT,
   colid         VARCHAR(400)
 )
 PARTITION BY RANGE(time)
 (
     PARTITION p20201128 VALUES LESS THAN ('20210131'),
     PARTITION p20201129 VALUES LESS THAN ('20210201')
 )
 DISTRIBUTED BY HASH(colid) BUCKETS 32
 PROPERTIES(
 "replication_num" = "2",
 "colocate_with" = "colid"
 
 );
 
 create table VOD_COL_IMPORT
 (
   colid          VARCHAR(400),
   parentid       VARCHAR(400),
   name           VARCHAR(400),
   sourcecolid    VARCHAR(400),
   sourcename     VARCHAR(400),
   updatetime     DATETIME,
   state          INT,
   version        INT,
   sourceparentid VARCHAR(400)
 )
 DISTRIBUTED BY HASH(colid) BUCKETS 32
 PROPERTIES(
 "replication_num" = "2",
 "colocate_with" = "colid"
 
 );
 
 create table VOD_COL_MERGE
 (
   colid     VARCHAR(400),
   groupname VARCHAR(400),
   type      VARCHAR(10)
 )
 DISTRIBUTED BY HASH(colid) BUCKETS 32
 PROPERTIES(
 "replication_num" = "2",
 "colocate_with" = "colid"
 );

 create table VOD_COL_FULL
 (
   colid     VARCHAR(400),
   SOURCECOLID VARCHAR(400),
   GROUPNAME      VARCHAR(400)
 )
 DISTRIBUTED BY HASH(colid) BUCKETS 32
 PROPERTIES(
 "replication_num" = "2",
 "colocate_with" = "colid"
 );

 # 以下命令可以查看集群内已存在的 Group 信息。
 
 SHOW PROC '/colocation_group';


 LOAD LABEL L_VOD_COL_MERGE
 (
 DATA INFILE("hdfs://10.10.100.24:8020/dorisdata/VOD_COL_MERGE.csv")
 INTO TABLE `VOD_COL_MERGE`
 COLUMNS TERMINATED BY ","
 (t_colid,t_groupname,t_type)
 SET (
   colid=t_colid,
   groupname=t_groupname,
   type=t_type
 )
 )
 WITH BROKER broker_name ("username"="hadoop", "password"="hadoop");
 
 
 LOAD LABEL L_VOD_COL_IMPORT
 (
 DATA INFILE("hdfs://10.10.100.24:8020/dorisdata/VOD_COL_IMPORT.csv")
 INTO TABLE `VOD_COL_IMPORT`
 COLUMNS TERMINATED BY ","
 (t_colid,t_groupname,t_type)
 SET (
   colid=t_colid,
   groupname=t_groupname,
   type=t_type
 )
 )
 WITH BROKER broker_name ("username"="hadoop", "password"="hadoop");
 
 LOAD LABEL L_VOD_COL_IMPORT
 (
 DATA INFILE("hdfs://10.10.100.24:8020/dorisdata/VOD_COL_IMPORT.csv")
 INTO TABLE `VOD_COL_IMPORT`
 COLUMNS TERMINATED BY "|"
 (t_colid,t_parentid,t_name,t_sourcecolid,t_sourcename,t_updatetime,t_state,t_version,t_sourceparentid)
 SET (
   colid=t_colid,
   parentid=t_parentid,
   name=t_name,
   sourcecolid=t_sourcecolid,
   sourcename=t_sourcename,
   updatetime=t_updatetime,
   state=t_state,
   version=t_version,
   sourceparentid=t_sourceparentid
 )
 )
 WITH BROKER broker_name ("username"="hadoop", "password"="hadoop");

 # 创建rollup
 ALTER TABLE VOD_COL_IMPORT ADD ROLLUP rollup_VCI(colid, sourcecolid);
 ALTER TABLE VOD_COL_MERGE ADD ROLLUP rollup_city(colid, groupname);
ciqingloveless
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Doris（2）：Doris编译部署
u013938578的博客
04-11 766
这个是官方文档推荐的，可以非常方便顺利的编译源码，如果需要快速部署的，可以使用这种方式。这种方式的优点就是不用配置环境变量，也不用考虑各种版本问题，进入开发镜像系统后直接下载 doris 源码编译即可。将容器中的maven下载的包保存到宿主机本地指定的文件中，避免重复下载，同时会将编译的Doris文件保存到宿主机本地指定的文件，方便部署。拉取Doris官方提供的Docker镜像，目前可用版本有：build-env、build-env-1.1、build-env-1.2。开启之后, 就在容器内了。
doris5.0安装教程
04-14
由于doris5.0.3的版本问题过多，使用非常不方便，没有doris5.0版本稳定，故推荐安装5.0版本
CentOS7安装部署Doris
Z-NOTE
08-22 2199
Apache Doris是基于MPP架构的新一代开源实时数据仓库，使用更方便，性能更高，适用于大数据分析。
安装doris
最新发布
jusu123的博客
06-29 1339
查看cpu支持avx2指令集支持则下载。
Apache Doris集群模式快速体验之CentOS7安装（1）
ith321的博客
07-01 1264
Apache Doris集群模式快速体验之CeneOS7安装
Doris 内网安装部署，基于 CentOS 7
weixin_45324716的博客
04-11 1341
如果没有输出，则表示没有 swap 分区被启用。heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。NTP服务的日志文件通常位于/var/log/syslog或/var/log/ntp.log，你可以查看这些日志来监控NTP服务的运行情况和解决潜在问题。be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配，。
百度开源OLAP系统Apache Doris在Centos7.0下编译和安装
架构和代码
03-29 3821
Doris是百度2017年开源的OLAP系统，能够支撑10P级的数据规模，每天几百亿条写入量，秒级百亿条查询，在数据查询、报表BI、用户行为分析系统，甚至交互式分析中广泛应用。 官方文档：http://doris.apache.org/ github地址：https://github.com/apache/incubator-doris 但是因为系统很庞大，结...
centos安装手册
11-20
本手册旨在提供一个详尽的新手安装指南，帮助用户顺利完成CentOS的安装与基本配置。 #### 二、安装前准备 在开始安装CentOS之前，请确保以下准备工作已经完成： 1. **下载ISO镜像文件**：访问CentOS官方网站下载...
Doris12版安装编译部署(docker编译)
qq_45997096的博客
07-05 1241
Doris安装编译部署(docker编译) java8以上的前提下 docker安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun **安装所需的软件包。**yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2。 $ sudo yum install -y yum-util
Doris安装部署
这家伙什么也没留下!
06-09 8243
doris部署
大数据Doris（四）：直接编译（CentOS/Ubuntu）准备
Lansonli（蓝深李）的博客
10-05 1055
最好下载满足条件的版本，耐心的编译，否则因为 GCC 版本或者包的问题容易在编译 Doris 出现一系列莫名的错误，因为 Doris 中依赖了较多的三方库（可以查看。Apache Maven 需要 3.5+ 、Oracle JDK 1.8+ 、Python 2.7+ 这些可自行查找相关资料进行安装。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。使用直接编译方式需要注意第三方包的下载一定要下载指定连接的包且务必完整。
tpc-ds-tool.zip
10-12
在tools文件中执行make cd /TPCDSVersion1.3.1/tools make 注意：若没有安装gcc会报错！ 4、 在tools目录下使用./dsdgen生成数据。 –help查看帮助 常用： -DIR 生成目录 -SCALE 数据大小（单位GB） DELIMITER 字段分隔符，默认| TERMINATE 末尾是否有分隔符，参数 Y或者N 例子：在/usr/datas目录下生成分隔符为|且末尾没有分隔符的1GB数据： ./dsdgen -DIR /usr/datas -SCALE 1 -TERMINATEN 这样就可以分别生成测试所需的1GB数据和500GB，数据生成的25张表如下，这就是上述描述的7张事实表，17张纬度表，以及1张版本表dbgen_version.dat。 5、 ./dsqgen生成sql测试用例 –help 查看帮助 常用： -input 输入，读取测试用例包含的模板，一般使用/query_templates/templates.lst即可。 -directory 模板所在目录， 一般使用-directory…/query_templates即可。 -dialect 生成某个数据库的语言，可选项可以查看/query_templates目录，有oracle、db2、SqlServer等。 -scale 数据大小（单位G） 特别说明：/query_templates目录下的每一个query末尾都要加上： define _END = “”; ftp上有弄好了的，可以拿来覆盖：\100.0.1.1\admin\soft\tpc\query_templates 例子：./dsqgen -input…/query_templates/templates.lst -directory …/query_templates -dialect oracle-scale 1 由此，可以在tools目录下生成一个query_0.sql，即为生成的sql测试用例。
CentOS7部署Doris V1.2.2
爱码猿的博客
03-11 2229
CentOS7部署Doris V1.2.2
apache Doris linux单机安装部署
怪只怪满眼尽是人间烟火
05-25 2382
环境准备 CPU：2C（最低）8C（推荐） 内存：4G（最低）48G（推荐） 硬盘：100G（最低）400G（推荐） 平台：MacOS（Intel）、LinuxOS、Windows虚拟机 系统：CentOS（7.1及以上）、Ubuntu（16.04及以上） 软件：JDK（1.8及以上）、GCC（4.8.2及以上） 独立部署 1.设置系统中打开文件句柄的最大数量 vim /etc/security/limits.conf * soft nofile 65536 * hard n..
编译 DORIS 4.0.2 笔记
Kelvin ZENG
05-06 1068
CentOS 6.4 x64 1.  编译 fftw 3.3.3       ./configure --enable-float       创建 单精度库。     libfftw3f.a    其中的 f 是float, 表示单精度。       否则库名伪 libfftw3.a       DORIS 将使用 libfftw3f.a 2.  编译 lapac
Apache Doris Linux环境安装部署：FE BE Broker部署及扩缩容；Doris集群一键启停脚本
学亮编程手记
02-12 2160
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。Broker 是用于访问外部数据源（如 hdfs）的进程，通常在每台机器上部署一个 broker 实例即可。
【Doris的安装与部署】
weixin_45363959的博客
05-15 2472
Doris作为一款MPP架构的OLAP数据库，可以在绝大多数主流的商用服务器上运行。
大数据 - Doris系列《二》- Doris安装（亲测成功版）
weixin_40968325的博客
01-04 2162
BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。不认识，所有linux02和linux03的fe及be节点也需要向linux01的fe节点报道，这样才能写进元数据。参数，你将该命令转为在后台以守护进程的形式运行，不再与当前终端关联，因此可以正常结束终端而不影响该进程的运行。原因这可能是因为在非守护（daemon）模式下，该命令在前台运行，占用了终端并阻塞了你的输入。相对较小轻便，省电。
记编译 Doris 的过程
howard_shooter的博客
06-27 734
尝试编译 doris，其过程异常坎坷，不过也学到了很多东西。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值