网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
如果返回结果中带有 "msg":"success"
字样,则说明启动成功。
你也可以通过 Doris FE 提供的Web UI 来检查,在浏览器里输入地址
http:// fe_ip:8030
可以看到下面的界面,说明 FE 启动成功
注意:
- 这里我们使用 Doris 内置的默认用户 root 进行登录,密码是空
- 这是一个 Doris 的管理界面,只能拥有管理权限的用户才能登录,普通用户不能登录。
连接 FE
我们下面通过 MySQL 客户端来连接 Doris FE,下载免安装的 MySQL 客户端
解压刚才下载的 MySQL 客户端,在 bin/
目录下可以找到 mysql
命令行工具。然后执行下面的命令连接 Doris。
mysql -uroot -P9030 -h127.0.0.1
注意:
- 这里使用的 root 用户是 doris 内置的默认用户,也是超级管理员用户,具体的用户权限查看 权限管理
- -P :这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是fe.conf里的
query_port
- -h : 这里是我们连接的 FE IP地址,如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。
执行下面的命令查看 FE 运行状态
show frontends\G;
然后你可以看到类似下面的结果:
mysql> show frontends\G
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* 1. row \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*
Name: 172.21.32.5_9010_1660549353220
IP: 172.21.32.5
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9020
ArrowFlightSqlPort: 9040
Role: FOLLOWER
IsMaster: true
ClusterId: 1685821635
Join: true
Alive: true
ReplayedJournalId: 49292
LastHeartbeat: 2022-08-17 13:00:45
IsHelper: true
ErrMsg:
Version: 1.1.2-rc03-ca55ac2
CurrentConnected: Yes
1 row in set (0.03 sec)
- 如果 IsMaster、Join 和 Alive 三列均为true,则表示节点正常。
加密连接 FE
Doris支持基于SSL的加密连接,当前支持TLS1.2,TLS1.3协议,可以通过以下配置开启Doris的SSL模式: 修改FE配置文件conf/fe.conf
,添加enable_ssl = true
即可。
接下来通过mysql
客户端连接Doris,mysql支持五种SSL模式:
1.mysql -uroot -P9030 -h127.0.0.1
与mysql --ssl-mode=PREFERRED -uroot -P9030 -h127.0.0.1
一样,都是一开始试图建立SSL加密连接,如果失败,则尝试使用普通连接。
2.mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1
,不使用SSL加密连接,直接使用普通连接。
3.mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1
,强制使用SSL加密连接。
4.mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem -uroot -P9030 -h127.0.0.1
,强制使用SSL加密连接,并且通过指定CA证书验证服务端身份是否有效。
5.mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem --ssl-cert=client-cert.pem --ssl-key=client-key.pem -uroot -P9030 -h127.0.0.1
,强制使用SSL加密连接,双向验证。
注意:
--ssl-mode
参数是mysql5.7.11版本引入的,低于此版本的mysql客户端请参考这里。
Doris开启SSL加密连接需要密钥证书文件验证,默认的密钥证书文件位于Doris/fe/mysql_ssl_default_certificate/
下。密钥证书文件的生成请参考密钥证书配置。
停止 FE 节点
Doris FE 的停止可以通过下面的命令完成
./bin/stop_fe.sh
配置 BE
我们进入到 apache-doris-x.x.x/be
目录
cd apache-doris-x.x.x/be
修改 BE 配置文件 conf/be.conf
,这里我们主要修改两个参数:priority_networks
及 storage_root
,如果你需要更多优化配置,请参考 BE 参数配置说明,进行调整。
- 添加 priority_networks 参数
priority_networks=172.23.16.0/24
注意:
这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个IP地址的时候,我们要为 BE 指定唯一的IP地址。
- 配置 BE 数据存储目录
storage_root_path=/path/your/data_dir
注意:
- 默认目录在 BE安装目录的 storage 目录下。
- BE 配置的存储目录必须先创建好
- 配置 JAVA_HOME 环境变量
SinceVersion 1.2.0由于从 1.2 版本开始支持 Java UDF 函数,BE 依赖于 Java 环境。所以要预先配置 JAVA_HOME
环境变量,也可以在 start_be.sh
启动脚本第一行添加 export JAVA_HOME=your_java_home_path
来添加环境变量。
- 安装 Java UDF 函数
SinceVersion 1.2.0安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数,需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下,否则可能会启动失败。
启动 BE
在 BE 安装目录下执行下面的命令,来完成 BE 的启动。
./bin/start_be.sh --daemon
添加 BE 节点到集群
通过MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中
ALTER SYSTEM ADD BACKEND "be\_host\_ip:heartbeat\_service\_port";
- be_host_ip:这里是你 BE 的 IP 地址,和你在
be.conf
里的priority_networks
匹配 - heartbeat_service_port:这里是你 BE 的心跳上报端口,和你在
be.conf
里的heartbeat_service_port
匹配,默认是9050
。
查看 BE 运行状态
你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。
SHOW BACKENDS\G
示例:
mysql> SHOW BACKENDS\G
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* 1. row \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*
BackendId: 10003
Cluster: default_cluster
IP: 172.21.32.5
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8040
BrpcPort: 8060
ArrowFlightSqlPort: 8070
LastStartTime: 2022-08-16 15:31:37
LastHeartbeat: 2022-08-17 13:33:17
Alive: true
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 170
DataUsedCapacity: 985.787 KB
AvailCapacity: 782.729 GB
TotalCapacity: 984.180 GB
UsedPct: 20.47 %
MaxDiskUsedPct: 20.47 %
Tag: {"location" : "default"}
ErrMsg:
Version: 1.1.2-rc03-ca55ac2
Status: {"lastSuccessReportTabletsTime":"2022-08-17 13:33:05","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
1 row in set (0.01 sec)
- Alive : true表示节点运行正常
停止 BE 节点
Doris BE 的停止可以通过下面的命令完成
./bin/stop_be.sh
创建数据表
- 创建一个数据库
create database demo;
- 创建数据表
use demo;
CREATE TABLE IF NOT EXISTS demo.example_tbl
(
`user\_id` LARGEINT NOT NULL COMMENT "用户id",
`date` DATE NOT NULL COMMENT "数据灌入日期时间",
`city` VARCHAR(20) COMMENT "用户所在城市",
`age` SMALLINT COMMENT "用户年龄",
`sex` TINYINT COMMENT "用户性别",
`last\_visit\_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
`cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
`max\_dwell\_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
`min\_dwell\_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user\_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user\_id`) BUCKETS 1
PROPERTIES (
"replication\_allocation" = "tag.location.default: 1"
);
- 示例数据
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6
![img](https://img-blog.csdnimg.cn/img_convert/2a0f4308b08f7308eeda7121a4694e18.png)
![img](https://img-blog.csdnimg.cn/img_convert/3d650f795afdc0e2ca47c336a4364f42.png)
![img](https://img-blog.csdnimg.cn/img_convert/5d7f68d485fd4ec11be7c5f7b8a86395.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
,0,2017-10-03 10:20:22,11,6,6
[外链图片转存中...(img-9QiJ3gHK-1715668030527)]
[外链图片转存中...(img-WMxhcSvo-1715668030527)]
[外链图片转存中...(img-Jo8nWITr-1715668030528)]
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**