dremio详细部署流程

官方文档：
https://docs.dremio.com/
dremio下载地址：
http://download.dremio.com/

独立集群模式架构图

环境要求

Linux：CentOS 6.7+ and 7.3+ (RPM))

Java：jdk8

浏览器：Google Chrome 54+、Microsoft Edge 14+（用于访问UI管理界面，Dremio UI 在 http://hostname:9047）

Dremio安装

1、Dremio下载
Dremio下载地址：
https://download.dremio.com/community-server/4.5.0-202006180205030236-1a5d28da/dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz

2、将dremio.tar.gz包上传到linux机
使用工具上传到/home/hadoop（我这里使用xftp6）：

在进入到上传路径，使用ls命令查看文件是否上传成功

[root@localhost dremio]# cd /home/hadoop/
[root@localhost hadoop]# ls

3、解压安装包
创建安装目录

[root@localhost hadoop]#mkdir /opt/install
[root@localhost hadoop]#ls /opt/

解压dremio包到/opt/install目录

[root@localhost hadoop]#cd /home/hadoop
[root@localhost hadoop]# tar -zxvf dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz -C /opt/install

修改dremio目录名

[root@localhost hadoop]# cd /opt/install
[root@localhost install]# ls
[root@localhost install]# mv ./dremio-community-4.5.0-202006180205030236-1a5d28da ./dremio
[root@localhost install]# ls

4、修改配置文件（可选）
不修改配置文件，就是使用默认配置
dremio.conf配置修改（路径：/opt/install/dremio/conf/dremio.conf）
dremio.conf可修改的配置：
1）、Dremio服务器的数量和类型
2）、Metadata storage位置
3）、Distributed位置
4）、Zookeeper位置

以下是默认的配置：

paths: {
  # dremio存储数据的本地路径
  local: ${DREMIO_HOME}"/data"

  # 分布式路径Dremio数据包括作业结果、下载、上传等
  #dist: "pdfs://"${paths.local}"/pdfs"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: true
}

${DREMIO_HOME}即是dremio所在的路径，这里是/opt/install/dremio

dremio-env配置
1）、内存大小
直接内存（DIRECT_MEMORY）用于查询执行
堆内存（HEAP_MEMORY）用于运行Dremio服务器
内存的默认设置如下。
默认情况下，如果未设置，DREMIO_MAX_HEAP_MEMORY_SIZE_MB并DREMIO_MAX_DIRECT_MEMORY_SIZE_MB设置如下。
协调器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥18GB，则堆为16 GB，直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB<18 GB，则直接为2 GB，堆将使用剩余的空间。
执行器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥32GB，则堆为8 GB，直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB≥6GB，则堆为4 GB，直接使用其余的。
否则，堆为2 GB，直接使用剩余空间。

2）、Log and PID路径，日志和PID的路径默认在/opt/install/dremio
5、关闭防火墙
关闭防火墙并查看状态，确定防火墙已关闭。

[root@localhost dremio]# systemctl stop firewalld
[root@localhost dremio]# systemctl status firewalld

如果使用云服务器，要将端口9047和31010添加到服务器的入站规则，外部才可以访问。
6、运行dremio并查看状态

[root@localhost dremio]# /opt/install/dremio/bin/dremio start
[root@localhost dremio]# /opt/install/dremio/bin/dremio status

应用程序使用

注册
浏览器输入：http://hostname:9047/ 即可进入主界面，注意：在360浏览器的兼容模式下编辑框输入不了，填写注册信息。

使用界面
注册后进入使用界面

dremio数据存储目录