doris原生安装

select_where

已于 2022-11-17 13:51:07 修改

阅读量1.3k

点赞数

分类专栏： doris 文章标签：运维大数据

于 2022-11-09 15:02:51 首次发布

本文链接：https://blog.csdn.net/select_where/article/details/127769321

版权

doris 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

doris原生安装—尝试集成到cdh5失败
安装前先查看doris 端口是否本占用，调整fe.conf 和 be.conf 对应端口号，因为hadoop集群安装8030 和8040 我这里端口都改掉了，具体怎样修改看本集群端口占用情况。
在这里插入图片描述

1、集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

2、关闭交换分区（swap）
关闭 swap
swapoff -a 临时性关闭
永久关闭swap分区 sed -ri ‘s/.swap./#&/’ /etc/fstab

3、设置系统最大打开文件句柄数
vi /etc/security/limits.conf

soft nofile 65536
hard nofile 65536

这里要留意，如果设置的参数值过小 fe就会报无法连接
be节点log日志显示

E1111 08:44:53.394894  3069 storage_engine.cpp:426] File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1111 08:44:53.404117  3069 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1111 08:44:53.404232  3069 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1111 08:44:53.407743  3069 doris_main.cpp:405] fail to open StorageEngine, res=file descriptors limit is too small

我在安装时生产环境配置的是

* soft nofile 655360
* hard nofile 655360

不知为何也报了这样的错误，感觉像是没有识别到一样
就尝试执行了：

ulimit -n 655351

这个命令在重启后会失效
先删除be 节点，再重新加载 be,然后就连接成功了。。。。有点玄幻的样子。

4、下载 apache-doris-1.1.1-bin-x86.tar.gz 分发到各个节点
tar -zxvf apache-doris-1.1.1-bin-x86.tar.gz

5、IP 绑定
因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP。
priority_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：

fe节点 cd /opt/doris/apache-doris-1.1.1-bin-x86/fe/conf
be节点 cd /opt/doris/apache-doris-1.1.1-bin-x86/be/conf
修改priority_networks = 192.XXX.XXX.0/24
这里要说明一下如果需要配置内部网段的话，priority_networks的参数就设置成内部网段，我这里环境中内部网段是万兆卡，为了性能所以配置的是内部网段，在网页访问端口是使用的依然外部的网段不会受影响。

6、元数据存储
配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir
priority_networks 绑定ip
meta_dir 指定fe节点元数据存储位置
对于测试环境需要修改 webserver_port 以防止doris 端口与hadoop 集群端口冲突问题
修改 be/conf/be.conf。主要是配置 storage_root_path：数据存放位置

storage_root_path = /opt/doris/doris_data/disk1/doris

#这地址是自定义的，我们的集群本来专门配置了ssd卡给我，我也在后面 “,medium:ssd”但是在创建表时却报了HDD错误，查了资料说是虚拟机的原因，于是就把指向ssd删除了，重新加载be,建表成功。

7、fe 节点 bin下执行 bin/start_fe.sh --daemon ； be 节点执行 bin/start_be.sh --daemon

8、找一个有客户端的节点
mysql-client -h fe_host -P query_port -uroot
默认使用 root 账户，无密码登录。
登录后，执行以下命令来添加每一个 BE：
ALTER SYSTEM ADD BACKEND “be_host:heartbeat-service_port”;
其中 be_host 为 BE 所在节点 ip；heartbeat_service_port 在 be/conf/be.conf 中。

9、修改用户密码后，想创建一个只读的用户向外提供服务，但是用mysql控制权限的方式死活改不了，查询官网原来doris和mysql控制权限还是不一样的
主要有：
Select_priv Load_priv Alter_priv Create_priv Drop_priv
付给权限时

GRANT Select_priv  ON ods.*  to 'doris'@'%';

查看

SHOW ALL GRANTS;

在这里插入图片描述
10、配置监控管理
(1)、Dashboard
[https://grafana.com/grafana/dashboards/9734-doris-overview/?tab=revisions]下载Dashboard 模板，渲染页面，这里我选的是版本4 ，doris-overview_rev4.json
(2)、grafana
安装节点命令： wget https://dl.grafana.com/enterprise/release/grafana-enterprise-7.2.2.linux-amd64.tar.gz
下载 grafana，
解压：tar -zxvf grafana-enterprise-7.2.2.linux-amd64.tar.gz
重命名： mv grafana-enterprise-7.2.2.linux-amd64 grafana
打开配置文件 conf/defaults.ini 修改 http_port 端口号后面会用到
(3)、Prometheus
[https://prometheus.io/download/]官网下载 prometheus ，我选的是prometheus-2.37.2.linux-amd64.tar.gz
解压 tar -zxvf prometheus-2.37.2.linux-amd64.tar.gz，重命名
cd 到prometheus目录下，配置prometheus.yml

global:
  scrape_interval:     15s # 全局的采集间隔，默认是 1m，这里设置为 15s
  evaluation_interval: 15s # 全局的规则触发间隔，默认是 1m，这里设置 15s
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'test' # 每一个 Doris 集群，我们称为一个 job。这里可以给 job 取一个名字，作为 Doris 集群在监控系统中的名字。
    metrics_path: '/metrics' # 这里指定获取监控项的 restful api。配合下面的 targets 中的 host:port，Prometheus 最终会通过 host:port/metrics_path 来采集监控项。
    static_configs: # 这里开始分别配置 FE 和 BE 的目标地址。所有的 FE 和 BE 都分别写入各自的 group 中。
      - targets: ['fe_host1:8131']
        labels:
          group: fe # 这里配置了 fe 的 group，该 group 中包含了 3 个 Frontends

      - targets: ['be_host1:8141', 'be_host2:8141', 'be_host3:8141']
        labels:
          group: be # 这里配置了 be 的 group，该 group 中包含了 3 个 Backends

  - job_name: 'PALO_CLUSTER_2' # 我们可以在一个 Prometheus 中监控多个 Doris 集群，这里开始另一个 Doris 集群的配置。配置同上，以下略。
    metrics_path: '/metrics'
    static_configs: 
      - targets: ['fe_host1:8131', 'fe_host2:8131', 'fe_host3:8131']
        labels:
          group: fe 

      - targets: ['be_host1:8141', 'be_host2:8141', 'be_host3:8141','be_host4:8141', 'be_host5:8141', 'be_host6:8141']
        labels:
          group: be

说明一下这里job_name 配置的是名字，8131和8141端口都是我由8030、8040改来的
(4)、启动
nohup ./prometheus --web.listen-address=“0.0.0.0:8181” &
这里prometheus的 8181端口也是可以随便改的，以你上面输入的命令为准

nohup ./bin/grafana-server &

在浏览器上http://grafana_ip:http_port
登录密码/用户默认 admin/admin

页面配置连接上prometheus加载doris-overview_rev4.json就可以看到监控了。

在这里插入图片描述

主要参考官方网站 https://doris.apache.org/zh-CN/docs/install/install-deploy

因为公司使用cm 领导想将doris 也集成进来，因为没有先例查询资料，按照kafka 集成的办法，尝试安装：
1、上传 DORIS-1.1.1-el7.parcel 和 manifest.json 到 /opt/cloudera/parcel-repo
2、执行 sha1sum DORIS-1.1.1-el7.parcel | awk ‘{ print $1 }’ > DORIS-1.1.1-el7.parcel.sha ------cdh5版本需要执行，cdh6以上不需要
3、所有节点上传DORIS-1.1.0.jar 到csd 目录/opt/cloudera/csd
4、cm配置parcel激活doris
在这里插入图片描述
5、重启cm服务
6、添加doris 服务 -------当前页面添加服务时无法发现doris服务安装失败
7、调整接口，元数据存储等信息