Doris安装

Apache Doris 由百度大数据部研发(之前叫百度 Palo,2018 年贡献到 Apache 社区后, 
更名为 Doris ),在百度内部,有超过 200 个产品线在使用,部署机器超过 1000 台,单一 
业务最大可达到上百 TB
Apache Doris 是一个现代化的 MPP(Massively Parallel Processing,即大规模并行处理) 
分析型(OLAP)数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。 
Apache Doris 的分布式架构非常简洁,易于运维,并且可以支持 10PB 以上的超大数据集。
Apache Doris 可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。

在这里插入图片描述

doris安装

安装前准备

  • Linux 操作系统版本需求
linux系统版本
CentOS7.1及以上
Ubunto16.04及以上
  • 软件需求
AB
软件版本
Java1.8及以上
GCC4.82及以上
  • 操作系统环境要求
    设置系统最大文件打开句柄数 ==>启动一个程序的时候,打开文件的数量就是句柄数
1.打开文件
security  /sɪˈkjʊərəti/
vi /etc/security/limits.conf 
2.在文件最后添加下面几行信息(注意* 也要赋值进去)

* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535

ulimit -n 65535 临时生效

修改完文件后需要重新启动虚拟机
重启永久生效,也可以用 。


如果不修改这个句柄数大于等于60000,回头启动doris的be节点的时候就会报如下的错
File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1120 18:14:20.934705  3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1120 18:14:20.934713  3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1120 18:14:20.935087  3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small

时钟同步

Doris 的元数据要求时间精度要小于5000ms,所以所有集群所有机器要进行时钟同步,避免因为时钟问题引发的元数据不一致导致服务出现异常。

如何时间同步??
首先安装 ntpdate   
# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
[root@Linux01 doris]# yum install ntpdate -y

然后开始三台机器自己同步时间

[root@Linux01 ~]# ntpdate ntp.sjtu.edu.cn

美国标准技术院时间服务器:time.nist.gov(192.43.244.18)
上海交通大学网络中心NTP服务器地址:ntp.sjtu.edu.cn(202.120.2.101)
中国国家授时中心服务器地址:cn.pool.ntp.org(210.72.145.44# 将当前时间写入bios,这样才能永久生效不变,不然reboot后还会恢复到原来的时间
clock -w 

关闭交换分区(swap)

交换分区是linux用来当做虚拟内存用的磁盘分区;
linux可以把一块磁盘分区当做内存来使用(虚拟内存、交换分区);
Linux使用交换分区会给Doris带来很严重的性能问题,建议在安装之前禁用交换分区;

1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a

[root@linux01 app]# free -m
              total        used        free      shared  buff/cache   available
Mem:           5840         997        4176           9         666        4604
Swap:          6015           0        6015
[root@linux01 app]# swapoff -a

3.验证是否关闭成功
[root@linux01 app]# free -m   
              total        used        free      shared  buff/cache   available
Mem:           5840         933        4235           9         671        4667
Swap:             0           0           0

安装FE

  1. 去官网下载源码包,官网地址:https://doris.apache.org

选择你要下载的版本
在这里插入图片描述
在这里插入图片描述
2. 上传到linux
3. 解压
4. 修改配置文件

-- 去自己的路劲中找到fe.conf文件
vi /opt/app/doris/fe/conf/fe.conf 
#配置文件中指定元数据路径: 注意这个文件夹要自己创建
meta_dir = /opt/data/dorisdata/doris-meta
#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 
  1. 分发集群
#!bash
 for i in 2 3 
 do
 scp /et/profile linux0$i:/etc/profile
scp -r /opt/app/doris/ linux0$i:/opt/app/
 done
  1. 启动
进入到fe的bin目录下执行
[root@doitedu01 bin]# ./start_fe.sh --daemon

安装BE

在这里插入图片描述
进入到be的conf目录下修改配置文件
在这里插入图片描述

vi be.conf  

#配置文件中指定数据存放路径: 
storage_root_path = /opt/data/dorisdata/bedata

#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 

使用Mysql客户端连接

mysql -h doitedu01 -P 9030 -uroot

这个只是用了mysql的客户端去连接doris的fe,不是启动的mysql哦!!!并且第一次进去的话,是不需要密码的
解释:
-h  连接地址
-P  端口号
-u  账号
-p  密码

--这个可以设置可以不设置啦,正常生产过程中都会设置一个相对比较复杂的密码,学习的时候就无所谓了
--如果想设置,下面的命令就可以
SET PASSWORD FOR 'root' = PASSWORD('123456');

fe启动完成后可以查看fe的运行状态

SHOW PROC '/frontends'\G;

添加 BE 节点

ALTER SYSTEM ADD BACKEND "linux01:9050"; 
ALTER SYSTEM ADD BACKEND "linux02:9050"; 
ALTER SYSTEM ADD BACKEND "linux03:9050";

查看 BE 状态

SHOW PROC '/backends';

Alive 为 false 表示该 BE 节点还是死的

添加环境变量

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.1.4/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.1.4/be
export PATH=$PATH:$DORIS_BE_HOME/bin

启动BE

启动 BE(每个节点) 
/opt/app/doris/be/bin/start_be.sh --daemon 

启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
SHOW PROC '/backends'; 
Alive 为 true 表示该 BE 节点存活。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值