银河麒麟服务器操作系统V10SP3单机部署Apache Doris数据库

最新推荐文章于 2024-10-03 20:53:10 发布
最新推荐文章于 2024-10-03 20:53:10 发布
阅读量1.8k 收藏 5
点赞数
文章标签： apache 数据库 服务器 kylin sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShenSeKyun/article/details/129931676
版权

文章目录

前言

Apache Doris是一个基于MPP架构的高性能实时分析数据库，以其极高的速度和易用性而闻名。在海量数据下，返回查询结果的响应时间达到亚秒级，不仅支持高并发点查询场景，还支持高吞吐量复杂分析场景。支持在单个节点上安装和运行，包括创建数据库、数据表、导入数据和查询等。

系统环境

OS版本：银河麒麟服务器操作系统V10SP3-2212（x86_64）
Apache Doris版本：1.2.3
Apache Doris官网：https://doris.incubator.apache.org/
Doris安装包下载链接及相关说明：

组件名称组件说明组件下载链接（需CPU支持avx2指令集）
FEFrontend，即 Doris 的前端节点。以 Java 语言为主,主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。apache-doris-fe-1.2.3-bin-x86_64.tar.xz
BEBackend，即 Doris 的后端节点。以 C++ 语言为主,主要负责数据存储与管理、查询计划执行等工作。apache-doris-be-1.2.3-bin-x86_64.tar.xz
Dependenciesapache-doris-dependencies包括支持JDBC外观和JAVA UDF的jar包，以及Broker和AuditLoader。下载后，需要将java-udf-jar-with-dependencies.jar放到be/lib目录下。apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz

搭建步骤

系统配置

  1. Doris运行需要系统中已经安装版本不低于8的Java环境，可以通过java -version命令查看当前安装Java环境版本；
[root@localhost ~]# java -version

在这里插入图片描述
2. 设置系统最大打开文件句柄数；

[root@localhost ~]# vim /etc/security/limits.conf

在这里插入图片描述
3. 系统防火墙放行端口；

[root@localhost ~]# firewall-cmd --zone=public --add-port=8030/tcp --permanent
[root@localhost ~]# firewall-cmd --reload

在这里插入图片描述

部署FE

配置FE

  1. 解压FE组件包；
[root@localhost ~]# xz -d apache-doris-fe-1.2.3-bin-x86_64.tar.xz
[root@localhost ~]# tar -xvf apache-doris-fe-1.2.3-bin-x86_64.tar
[root@localhost ~]# mv apache-doris-fe-1.2.3-bin-x86_64 /opt/doris-fe
  1. 修改FE配置文件；
[root@localhost ~]# cd /opt/doris-fe/
[root@localhost ~]# vim conf/fe.conf

修改前：
在这里插入图片描述
修改后：
在这里插入图片描述

启动FE

  1. 在FE的安装目录下执行如下命令来完成FE启动；
[root@localhost doris-fe]# ./bin/start_fe.sh --daemon
  1. 执行如下命令来检查Doris是否启动成功，当看到返回的结果中包含"msg": "success"关键字时，说明Doris启动成功；
[root@localhost doris-fe]# curl http://192.168.42.178:8030/api/bootstrap

在这里插入图片描述
3. 或者通过Web浏览器访问http://{FE_IP}:8030来确认FE启动成功；
默认登录用户：root
密码：空

在这里插入图片描述

连接FE

  1. 执行如下命令来连接Doris FE；
[root@localhost ~]# mysql -uroot -P9030 -h127.0.0.1

备注：root为Doris内置默认超级用户，9030为FE配置文件fe.conf中字段query_port的值（默认为9030）
在这里插入图片描述
2. 执行如下MySQL数据库命令来查看FE运行状态；

MySQL [(none)]> show frontends\G;

在这里插入图片描述
当看到上述命令返回结果中的IsMaster，Join，Alive这三个字段的值为true时，则表示该FE节点正常。

停止FE

可以通过如下命令来停止FE；

[root@localhost doris-fe]# ./bin/stop_fe.sh

在这里插入图片描述

部署BE

配置BE

  1. 解压BE组件包；
[root@localhost ~]# xz -d apache-doris-be-1.2.3-bin-x86_64.tar.xz
[root@localhost ~]# tar -xvf apache-doris-be-1.2.3-bin-x86_64.tar
[root@localhost ~]# mv apache-doris-be-1.2.3-bin-x86_64 /opt/doris-be
  1. 修改BE配置文件；
[root@localhost ~]# cd /opt/doris-be/
[root@localhost ~]# vim conf/be.conf

修改前：
在这里插入图片描述
修改后：
在这里插入图片描述
3. 设置JAVA_HOME环境变量；
①查看系统当前的JAVA_HOME变量

[root@localhost doris-be]# which java
[root@localhost doris-be]# ls -lrt /usr/bin/java
[root@localhost doris-be]# ls -lrt /etc/alternatives/java

在这里插入图片描述
注意：上图返回结果中的/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-10.ky10.x86_64即为系统JAVA_HOME变量的值。
②在BE的启动脚本start_be.sh的首行添加export JAVA_HOME=your_java_home_path来设置该环境变量

[root@localhost doris-be]# vim bin/start_be.sh

在这里插入图片描述
4. 安装JAVA UDF功能；

[root@localhost ~]# xz -d apache-doris-dependencies-1.2.3-bin-x86_64.tar.xz
[root@localhost ~]# tar -xf apache-doris-dependencies-1.2.3-bin-x86_64.tar
[root@localhost ~]# cp apache-doris-dependencies-1.2.3-bin-x86_64/java-udf-jar-with-dependencies.jar /opt/doris-be/lib/

启动BE

  1. 依次执行以下命令来启动BE；
[root@localhost doris-be]# sysctl -w vm.max_map_count=2000000
[root@localhost doris-be]# ./bin/start_be.sh --daemon
  1. 通过MySQL客户端连接到FE并执行以下SQL语句来添加BE节点到集群中，然后确认BE运行状态；
[root@localhost doris-be]# mysql -uroot -P9030 -h127.0.0.1

MySQL [(none)]> ALTER SYSTEM ADD BACKEND "192.168.42.178:9050";
MySQL [(none)]> show backends\G;

在这里插入图片描述

停止BE

  1. 通过执行如下命令来停止BE；
[root@localhost doris-be]# ./bin/stop_be.sh

在这里插入图片描述

创建数据表

  1. 创建数据库；
[root@localhost ~]# mysql -uroot -P9030 -h127.0.0.1

MySQL [(none)]> create database demo;

在这里插入图片描述
2. 创建数据表；

MySQL [(none)]> use demo;
Database changed
MySQL [demo]> CREATE TABLE IF NOT EXISTS demo.example_tbl
    -> (
    ->     `user_id` LARGEINT NOT NULL COMMENT "user id",
    ->     `date` DATE NOT NULL COMMENT "",
    ->     `city` VARCHAR(20) COMMENT "",
    ->     `age` SMALLINT COMMENT "",
    ->     `sex` TINYINT COMMENT "",
    ->     `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "",
    ->     `cost` BIGINT SUM DEFAULT "0" COMMENT "",
    ->     `max_dwell_time` INT MAX DEFAULT "0" COMMENT "",
    ->     `min_dwell_time` INT MIN DEFAULT "99999" COMMENT ""
    -> )
    -> AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
    -> DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
    -> PROPERTIES (
    ->     "replication_allocation" = "tag.location.default: 1"
    -> );
Query OK, 0 rows affected (0.101 sec)
  1. 导入示例数据；
[root@localhost ~]# cat /opt/test.csv

10000,2017-10-01,beijing,20,0,2017-10-01 06:00:00,20,10,10
10006,2017-10-01,beijing,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,beijing,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,shanghai,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,guangzhou,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,shenzhen,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,shenzhen,35,0,2017-10-03 10:20:22,11,6,6

通过Stream load的方式将上述test.csv中的数据导入到我们上一步创建的数据表中

[root@localhost ~]# curl  --location-trusted -u root: -T /opt/test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load

在这里插入图片描述
备注：上述返回结果中Status字段的值为Success即表明数据导入成功。

查询数据

通过上述步骤，我们已经完成数据表创建并导入数据，那么我们可以开始体验Doris的快速数据查询和数据分析功能了。

[root@localhost ~]# mysql -uroot -P9030 -h127.0.0.1

MySQL [(none)]> use demo;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MySQL [demo]> select * from example_tbl;
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city      | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
| 10000   | 2017-10-01 | beijing   |   20 |    0 | 2017-10-01 06:00:00 |   20 |             10 |             10 |
| 10001   | 2017-10-01 | beijing   |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 |
| 10002   | 2017-10-02 | shanghai  |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
| 10003   | 2017-10-02 | guangzhou |   32 |    0 | 2017-10-02 11:20:00 |   30 |             11 |             11 |
| 10004   | 2017-10-01 | shenzhen  |   35 |    0 | 2017-10-01 10:00:15 |  100 |              3 |              3 |
| 10004   | 2017-10-03 | shenzhen  |   35 |    0 | 2017-10-03 10:20:22 |   11 |              6 |              6 |
| 10006   | 2017-10-01 | beijing   |   20 |    0 | 2017-10-01 07:00:00 |   15 |              2 |              2 |
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
7 rows in set (0.080 sec)

MySQL [demo]> select * from example_tbl where city='shanghai';
+---------+------------+----------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city     | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+----------+------+------+---------------------+------+----------------+----------------+
| 10002   | 2017-10-02 | shanghai |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
+---------+------------+----------+------+------+---------------------+------+----------------+----------------+
1 row in set (0.038 sec)

MySQL [demo]> select city, sum(cost) as total_cost from example_tbl group by city;
+-----------+------------+
| city      | total_cost |
+-----------+------------+
| beijing   |         37 |
| shanghai  |        200 |
| guangzhou |         30 |
| shenzhen  |        111 |
+-----------+------------+
4 rows in set (0.059 sec)

MySQL [demo]>

参考链接：https://doris.incubator.apache.org/docs/dev/get-starting/

ShenSeKyun
关注
Apache Doris系列之：深入认识实时分析型数据库Apache Doris
zhengzaifeidelushang的博客
07-19 1100
Apache Doris系列之：深入认识实时分析型数据库Apache Doris
【云原生】docker 部署 Doris 数据库使用详解
热门推荐
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
银河麒麟系统（ARM）Apache Doris 集群搭建
weixin_38536774的博客
10-26 750
需要在信创平台（鲲鹏ARM CPU 和 银河麒麟V10操作系统）部署Apache Doris 存储日志数据，使用社区编译好的 ARM 安装包，同时配置好ARM 版本的JDK即可。Doris社区本身文档很齐全，整个部署过程就是在官方文档的指引下进行的，这里只是对过程的记录。
银河麒麟服务器端操作系统镜像，SP3-V10-2023-X86版本
MA969986的博客
09-06 1257
银河麒麟服务器端操作系统镜像，SP3_V10_2023_X86版本：Kylin-Server-V10-SP3-General-Release-2303-X86_64.ISO。链接：https://pan.baidu.com/s/1YzXptLljCaKz7Asn2wBBgQ?通过百度网盘分享的文件：银河麒麟-V10-SP3。--来自百度网盘超级会员V6的分享。
银河麒麟高级服务器操作系统V10SP3（X86）安装设备类型选择lvm简单模式之后，数据写入导致失败导致系统重启无法正常加载
weixin_45754407的博客
03-21 2204
银河麒麟高级服务器操作系统V10SP3（X86）安装设备类型选择lvm简单模式之后，数据写入导致失败导致系统重启无法正常加载
银河麒麟服务器操作系统V10SP3
数据也是生产力，保持热爱，奔赴山海！
03-04 4620
银河麒麟服务器操作系统V10SP3是一款直接面向kernel根社区，基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理型、高可用性和内生本质安全六大特性优势。
银河麒麟服务器v10 sp2安装apache+php+dokuwiki
sealy_chang的博客
04-06 2587
银河麒麟服务器v10 sp2安装apache+php+dokuwiki
银河麒麟服务器操作系统V10SP3安装部署Wiki
ShenSeKyun的博客
05-12 1885
银河麒麟服务器操作系统V10SP3安装部署Wiki
Ubuntu 14.04 麒麟版安装：Apache+php5+mysql+phpmyadmin.
weixin_34019929的博客
10-29 234
2019独角兽企业重金招聘Python工程师标准>>> ...
下一代实时数据库：Apache Doris 【三】集群部署_doris的软硬件条件
kOS0ym的博客
04-27 1139
如果需要 3 副本数 据， 那么至少需要 3 台机器各部署一个 BE 实例(而不是 1 台机器部署 3 个 BE 实例)。(8) 根据以往经验，当集群可用性要求很高时(比如提供在线业务)， 可以部署 3 个 Follower 和 1-3 个 Observer。(2) BE 的磁盘空间主要用于存放用户数据， 总磁盘空间按用户总数据量* 3 (3 副本) 计算， 然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。⚫ 可以通过路径区别存储目录的介质， HDD 或 SSD。
【大数据】Doris 数据库与表操作语法实战详解
最新发布
congge_study的博客
10-03 7234
Doris 数据库与表操作语法实战详解
银河麒麟最新版尝鲜——银河麒麟V10SP3安装体验
贺浦力特的博客
06-25 7422
服务器版： 作为服务器还是不错，曾经也用了一年多没啥问题。还算稳定的。图像界面稍显幼稚。不过服务器一般也不用图形界面。桌面版等就一言难尽了， 反正我是不会用他们的。估计也只有xx单位不得不用没办法， 稍后单独发文吐槽吧。
使用银河麒麟V10 SP3安装PostgreSQL 12.19数据库
qq_38993142的博客
07-25 2487
公司要求使用银河麒麟V10 SP3运行PostgreSQL，之前公司使用的是32位的postgresql，安装在Linux上，升级银河麒麟V10 SP3后无法运行，所以出个方案进行升级。本文档使用PostgreSQL源码编译，依赖通过联网下载的形式安装部署。
银河麒麟高级服务器操作系统V10SP3（ARM64）安装高斯数据库opengaussdb 6.0教程
2401_84117090的博客
07-09 2163
服务器：鲲鹏920服务器操作 系统：银河麒麟V10 SP3 2303服务器操作系统 数据库：openGauss-6.0.0-RC1-openEuler-64bit-all.tar，openGauss 6.0.0版本。
银河麒麟v10-sp3-x86系统安装k8s-1.30.4
qq_59634082的博客
08-30 2224
以一个类比的方式来说，就好像开车上高速，如果路况通畅，车速可以很快，但是如果遇到堵车，需要走应急车道，就会耽误时间。：x86-64架构的处理器通常提供高性能的计算能力，支持大量的内存和复杂的操作系统，如Windows、Linux和macOS。交换分区的使用可以有效避免程序因为内存不足而崩溃或运行缓慢的问题，但是硬盘的读写速度比内存要慢得多，因此交换分区的使用会对系统的性能产生一定的影响。4、配合银河麒麟服务器的评估和迁移能力，降低用户业务系统适配国产架构平台难度，实现业务系统中服务器操作系统的无感迁移。
银河麒麟v10sp3进入单用户模式
sinat_36046027的博客
12-15 2173
1．在grub界面，按e进入编辑界面，grub加密的安全保护机制要求账户密码，输入账户：root，密码：Kylin123123，通过上下键将光标移至linux行，在行末加上init=/bin/bashconsole=tty0参数；在单用户模式下，您可以输入"reboot -f"命令或"exec /sbin/init"命令，然后按回车键来执行重新启动操作。2．ctrl＋x或者F10进入单用户模式。2．在单用户模式下执行重新启动命令。
银河麒麟服务器V10 SP3 安装人大金仓V009R001C001B0030
鹏大圣运维
07-21 2056
Hello，大家好啊，今天给大家带来一篇关于在银河麒麟服务器V10 SP3上安装人大金仓V009R001C001B0030的文章。人大金仓是国内知名的数据库管理系统，它在高性能、高可靠性和安全性方面有着优异的表现。本文将详细介绍如何在银河麒麟服务器V10 SP3上安装人大金仓数据库。欢迎大家分享转发，点个关注和在看吧！
银河麒麟高级服务器操作系统V10SP3安装华为GAUSS数据库
醉红尘的博客
07-18 857
3.在avicat-premium-lite里面选择华为云-opengauss，用户名密码填第一步新建的用户，端口5432。（在vim界面，按键盘"i"进入编辑模式，改好后按"esc"键退出编辑模式，输入":wq"命令，保存并退出vim）1.下载navicat-premium-lite（navicat官方出的免费数据库工具，够用了）①创建数据库安装路径（这里的路径是：/usr/local/opengauss）②创建用户（用户名domo，到时候安装好的数据库的连接用户名也是这个）
银河麒麟V10SP3操作系统-网络时间配置
数据也是生产力，保持热爱，奔赴山海！
03-12 5173
其中 dd 代表日期 HH 代表小时，MM 代表分钟，SS 代表秒数，均需两位表示。基于 UTC 时间来配置系统时间，需要以 root 用户运行以下命令修改，示例如下。系统默认时间配置基于 UTC，如果想基于本地时间来配置系统时间，需要以 root 用户运行以下命令修改。系统默认时间配置基于本地时间，如果想基于 UTC 时间来配置系统时间，需要以 root 用户运行以下命令修改。系统时间通常还保持一套世界统一时间（UTC），用于转换系统的不同时区，本地时间就是用户所在时区的真实时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值