Doris的单机部署与安装

1.认识Doris

Doris最初是由百度大数据研发部研发，之前在百度使用时叫做Palo，在贡献给Apache社区后更名为Doris。

Doris是一个现代化的MPP（大规模并行处理）架构的分析型数据库。拥有亚秒级的查询响应，能够有效的支持实时数据分析。且易于运维，能够支撑10PB以上的超大的数据集。（MPP架构的数据库是将任务并行的分散到多个的节点上，进行协同计算，在每个节点将各自的计算任务处理完成之后，再将计算的结果进行汇总，输出最终的结果）
Doris整体架构如下所示，Doris 架构非常简单，只有两类进程

• Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

• Backend（BE），主要负责数据存储、查询计划的执行。

2.安装部署

2.1 前期准备 环境包括mysql、jdk以及安装包

百度网盘：链接：https://pan.baidu.com/s/1N2x4RZdVrifeJUu07pj7-g    提取码：u7y5

官网下载 下载 - Apache Doris 这3个都要下载 

2.2 解压配置

下载之后上传指定目录

开始解压 这两个命令效果是一样的，区别在于 -xvf 解压的时候会输出压缩包里面的文件名

# 1.创建 doris 目录
mkdir -p /opt/module/doris

# 2.解压文件
tar -xf /opt/software/apache-doris-be-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris/
tar -xvf /opt/software/apache-doris-fe-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris/
tar -xvf /opt/software/apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz -C /opt/module/doris/


# 3.把software解压的文件移动到 /opt/module/doris 下边 
mv apache-doris-be-1.2.3-bin-x86_64/ /opt/module/doris/doris-be
mv apache-doris-fe-1.2.3-bin-x86_64/ /opt/module/doris/doris-fe
mv apache-doris-dependencies-1.2.3-bin-x86_64/ /opt/module/apache-doris-dependencies-1.2.3

配置环境变量  sudo vim /etc/profile.d/enviroment.sh

#DORIS_HOME
export DORIS_HOME=/opt/module/doris
export PATH=$PATH:$DORIS_HOME/doris-be/bin:$DORIS_HOME/doris-fe/bin

使之生效

source /etc/profile

2.3 修改limits文件

打开文件limits.conf

sudo vim /etc/security/limits.conf

在文件的末尾处添加或者修改

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

打开文件sysctl.conf 

sudo vim /etc/sysctl.conf
# 添加
fs.file-max = 6553560
vm.max_map_count = 2000000

重启生效

sudo reboot  -h  now

2.4 配置fe

vim /opt/module/doris/doris-fe/conf/fe.conf
 
meta_dir = /opt/module/doris/meta  元数据保存位置
priority_networks = 192.168.16.101/24  # 本机ip
enable_http_server_v2 = true        #启动web服务
LOG_DIR = /opt/module/doris/doris_fe/log-fe       #日志保存位置

注意：尽量在原有的基础上修改

2.5 配置be

mkdir -p /opt/module/doris/doris-be/data_dir

vim /opt/module/doris/doris-be/conf/be.conf
 
PPROF_TMPDIR = /opt/module/doris/doris-be/log
priority_networks = 192.168.16.101/24
storage_root_path = /opt/app/module/doris/doris-be/data_dir

2.6 配置jar包

在解压后的dependencies目录中找到java-udf-jar-with-dependencies.jar 把他拷贝到 doris-be/lib下

cp /opt/module/doris/apache-doris-dependencies-1.2.3/java-udf-jar-with-dependencies.jar /opt/module/doris/doris-be/lib

3.启动验证

启动fe 和 be

start_fe.sh --daemon 

start_be.sh --daemon

注：切记一定要等待几秒 一定要等 我就是没等 每次查询都没有状态显示 然后就重装好几次

测试一下 如果有palofe和一个空的进程号(有的电脑有有的没有不用纠结) 就是启动成功

 web连接连接测试

http:// 192.168.16.101:8030 （账号 root 密码默认为空）

 mysql 连接 

mysql -uroot -P9030 -h 192.168.16.101

 

 执行 一下

show frontends\G

如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常

通过MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "192.168.16.101:9050";

 查看一下

SHOW BACKENDS\G

4.基本操作

创建数据库

create database gmall;

创建表

use gmall;
CREATE TABLE IF NOT EXISTS gmall.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

导入数据 (确保数据源存在/home/yn/) 

数据源

10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

导入命令 

curl  --location-trusted -u root: -T /home/yn/test.txt -H "column_separator:," http://192.168.16.101:8030/api/gmall/example_tbl/_stream_load

  更多教程 请查看官网

也支持外部连接

 

本文参考

快速开始 - Apache Doris

(51条消息) Doris的单机部署与安装_doris单机安装_那年我才十八岁的博客-CSDN博客

https://blog.csdn.net/King_uuu/article/details/128791616