Apache-Doris单机部署

参考:

快速体验 Apache Doris - Apache Doris

1、Apache Doris是一款 基于MPP架构的高性能、实时的分析型数据库,以高效、简单、统一的特点被人们所熟知,仅需 亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
说明: MPP全称为Massive Parallel Processing,是一种并行化的编程模型,其思想是通过管理来协调的,由多个处理单元并行处理一个程序中的不同部分,从而最终完成整个程序的计算模式。

 环境准备:

1)准备CentOS7.9系统,CPU:4核、内存:4G,数据盘:100G。

2)Java8运行环境:

我开始安装的是部署的Java11,BE启动就失败。所有还是改成Java8。

上传版本:

1)解压JDK8:

tar -zxvf jdk-8u202-linux-x64.tar.gz

source /etc/profile

2)解压apache-doris:

tar -zxvf apache-doris-2.1.3-bin-x64.tar.gz

3)重命名:

mv apache-doris-2.1.3-bin-x64 apache-doris

4)JAVA_HOME, 需要手动增加,并且指向你的 JDK8 运行环境。

修改fe.conf配置文件:

5)启动FE:

./start_fe.sh --daemon

记得关闭防火墙。

systemctl stop firewalld && systemctl disable firewalld

 

配置BE:

JAVA_HOME, 需要手动增加,并且指向你的 JDK8 运行环境。其它配置,可以使用默认值,即可支持我们的快速体验。

启动BE:

 解决下这个问题:

swapoff -a

然后:使用mysql客户端连接Doris FE:

使用SQL,将BE节点添加到集群:

ALTER SYSTEM ADD BACKEND "192.168.17.157:9050";

 然后再修改root和admin密码:

SET PASSWORD FOR 'root' = PASSWORD('123456');
SET PASSWORD FOR 'admin' = PASSWORD('123456');

建库建表和数据表:

create database demo;

use demo; 
create table mytable
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.05",    
    k3 CHAR(10) COMMENT "string column",    
    k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
) 
COMMENT "my first table"
DISTRIBUTED BY HASH(k1) BUCKETS 1
PROPERTIES ('replication_num' = '1');

在/root/data.csv文件中输入数据:

1,0.14,a1,20
2,1.04,b2,21
3,3.14,c3,22
4,4.35,d4,23
curl  --location-trusted -u admin:123456 -T /root/data.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/mytable/_stream_load

MySQL数据库查询数据:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| __internal_schema  |
| demo               |
| information_schema |
| mysql              |
+--------------------+
4 rows in set (0.00 sec)

mysql> use demo;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+----------------+
| Tables_in_demo |
+----------------+
| mytable        |
+----------------+
1 row in set (0.00 sec)

mysql> select * from mytable;
+------+------+------+------+
| k1   | k2   | k3   | k4   |
+------+------+------+------+
|    1 | 0.14 | a1   |   20 |
|    2 | 1.04 | b2   |   21 |
|    3 | 3.14 | c3   |   22 |
|    4 | 4.35 | d4   |   23 |
+------+------+------+------+
4 rows in set (0.05 sec)

WebUI查看数据:

<think>好的,我现在需要帮助用户了解如何进行Apache Doris单机部署。首先,我要回想一下Apache Doris的基本信息,它是一个高性能的MPP分析型数据库,常用于实时数据分析。用户可能是在测试或开发环境中需要单机部署,所以步骤需要简洁明确。 首先,我应该检查用户提供的引用内容,看看是否有相关信息。引用中提到了Debian/RPM的库文件、StreamX的环境搭建以及中国联通改造DolphinScheduler的例子,但似乎和Doris的直接关联不大。不过,引用2提到环境搭建简单,可能可以类比,但需要具体到Doris的步骤。 接下来,我需要回忆Doris的官方文档内容。通常单机部署需要以下步骤:系统要求、下载安装包、配置FE和BE、启动服务、验证安装。可能还需要处理一些常见问题,比如端口冲突或硬件资源不足。 系统要求方面,Doris需要Linux环境,CentOS或Ubuntu,内存至少8GB,磁盘空间足够。然后,用户需要下载二进制包,解压后分别配置FE和BE的配置文件,比如fe.conf和be.conf,设置JVM内存,配置元数据路径等。 启动FE后,需要连接到MySQL客户端执行初始化命令,添加BE节点,然后启动BE。之后通过MySQL客户端验证集群状态,确保FE和BE都正常。 可能遇到的问题包括端口被占用,需要检查端口列表;内存不足导致启动失败,需要调整JVM参数;以及防火墙设置阻止节点通信,需要开放相关端口。 用户可能还需要了解如何快速验证部署成功,比如执行简单的SQL语句,创建表,插入数据等。此外,后续使用可能涉及数据导入和查询优化,但用户当前的问题集中在部署,所以暂时不需要深入。 需要确保步骤清晰,避免遗漏关键配置项,比如元数据目录和JVM设置。同时,注意路径和命令的准确性,例如使用wget下载指定版本的Doris,解压到正确目录,修改配置文件的具体参数。 最后,生成相关问题,帮助用户深入,比如性能调优、高可用部署、数据迁移等,但要根据Doris的特性来设计问题,确保相关性和实用性。</think>### Apache Doris 单机部署指南 Apache Doris 单机部署适合开发测试环境,以下是详细步骤: #### 1. 系统要求 - 操作系统:Linux(推荐 CentOS 7+ 或 Ubuntu 16.04+) - 内存:≥8GB - 磁盘:≥50GB 可用空间 - 网络:开放端口 `8030`(FE HTTP)、`9020`(FE BRPC)、`9030`(FE MySQL)、`9060`(BE HTTP)、`9070`(BE BRPC) #### 2. 下载安装包 从[官网](https://doris.apache.org/downloads/)下载最新二进制包: ```bash wget https://apache-doris-releases.xxx.tar.gz # 替换为实际下载链接 tar -zxvf apache-doris-xxx.tar.gz cd apache-doris-xxx ``` #### 3. 部署FE(Frontend) **配置FE**: ```bash cd fe vi conf/fe.conf ``` 修改关键参数: ```properties JAVA_OPTS = "-Xmx4096m" # 根据内存调整 meta_dir = ${DORIS_HOME}/doris-meta # 元数据存储路径 ``` **启动FE**: ```bash ./bin/start_fe.sh --daemon ``` **初始化FE**: ```bash mysql -h 127.0.0.1 -P 9030 -uroot > ALTER SYSTEM ADD BACKEND "localhost:9050"; # 添加BE节点 ``` #### 4. 部署BE(Backend) **配置BE**: ```bash cd ../be vi conf/be.conf ``` 修改参数: ```properties JAVA_OPTS = "-Xmx4096m" storage_root_path = ${DORIS_HOME}/storage # 数据存储路径 ``` **启动BE**: ```bash ./bin/start_be.sh --daemon ``` #### 5. 验证集群状态 ```bash mysql -h 127.0.0.1 -P 9030 -uroot > SHOW PROC '/frontends'\G # 查看FE状态 > SHOW PROC '/backends'\G # 查看BE状态(需Alive: true) ``` #### 6. 简单测试 ```sql CREATE DATABASE test; USE test; CREATE TABLE demo (id INT, name VARCHAR(20)) DISTRIBUTED BY HASH(id); INSERT INTO demo VALUES (1, 'Doris'); SELECT * FROM demo; ``` #### 常见问题解决 1. **端口冲突**:通过 `netstat -tunlp | grep <端口号>` 检查占用情况 2. **BE注册失败**:检查FE日志 `fe/log/fe.log` 中的错误信息 3. **磁盘权限**:确保 `storage_root_path` 目录有写入权限 StreamX 的环境搭建经验表明,清晰的文档和标准化步骤能大幅降低部署难度[^2],Doris部署流程也遵循这一原则。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值