一、了解KunlunBase
1.1 KunlunBase产品基本概念&架构
KunlunBase是一个开源、高性能的分布式关系数据库,支持混合负载(HTAP)、PB级数据量管理并提供毫秒延迟的新一代数据库解决方案。
1.2 KunlunBase主要组件:
计算节点运行无状态计算&查询引擎,与Kunlun Storage进行交互执行SQL 任务,采用异步通信模式,一个计算节点可以协调多个存储节点执行数据处理(增删改查)任务。计算节点从元数据集群获取集群元数据并在本地持久化。Kunlun Server的SQL层兼容PostgreSQL和MySQL协议(开发中……),各个计算节点独立处理SQL计算。Kunlun Server支持标准SQL连接。
采用Shared-nothing架构,各存储节点运行一定数目的存储引擎实例,用来持久化应用(用户)数据。存储引擎执行计算节点发起SQL语句(在XA事务中的分支)。可以使用MGR单主模式或Binlog强同步模式做集群高可用。
用来存储着若干个昆仑分布式数据库集群的元数据,及分布式事务两阶段提交的commit log。元数据集群采用一主两从的部署模式。
集群管理(Cluster_mgr)作为守护进程运行,负责监控和维护每一个存储集群及其节点的replication状态、集群计算节点与存储节点之间的元数据和状态同步、处理分布式事务节点故障处理等。集群管理器提供API供第三方管理软件调用。
节点管理(Node_mgr)在集群的每一台机器运行,检测该机器上所有计算节点,以及存储节点的状态,对所有节点实例进行保活管理。并通过HTTP接口接收集群管理的命令,进行节点实例安装,删除等功能。
KunlunBase的运维管理模块,可以对整个集群环境进行管理和监控。Xpanel可以监控集群各个节点的操作系统及各关键组件的重要信息,包括操作系统资源,操作系统错误日志,计算&存储引擎的关键日志错误信息等。
KunlunDMP是KunlunBase备份恢复工具,DataPump是数据加载工具,支持 MySQL,PostgreSQL逻辑备份和数据的加载。
二、快速安装
一键安装流程
2.1 安装环境&配置需求
开发及测试环境(最低要求)
2.2 规划集群拓扑
以一个三台服务器的配置为例:
做为开发测试环境,每台服务器的硬件最低配置为:4核CPU , 16G内存。(如果仅作功能测试,可以下载KunlunBase docker映像安装,普通笔记本就可以部署KunlunBase docker安装指南)
表格1-1
2.3 安装环境准备
安装之前,要确保服务器操作系统环境满足以下要求:
-
所有节点所在机器须为Linux,安装了bash,sed,gzip,python2, python2-dev等工具或者库。python2可执行程序设置为python2。
-
所有集群节点所在机器已经正确设置好用户,节点将以该用户启动,该用户能够运行sudo而不需要密码。
-
配置防火墙,开发所有install.json 配置文件涉及的端口。
-
对于安装存储节点的机器,需要预先安装以下库(此处为ubuntu 20.04): libncurses5 libaio-dev。
-
对于安装计算节点的机器,需要预先安装以下库(此处为ubuntu 20.04): libncurses5 libicu66python-setuptools gcc
-
在centos上安装,参考附录2。
-
对于安装动作,需要预先将二进制发布包(kunlun-cluster-manager-0.9.1.tgz,kunlun-server-0.9.1.tgz,kunlun-storage-0.9.1.tgz)放入当前目录. 此外,工具运行机器和节点所在机器间网络不能太慢,因为需要将发布包传递到这些机器上。
-
对于安装的所有机器,需要设置安装用户及root用户的自动登录验证
-
设置完毕后ssh username@host.com
-
ubuntu可以参考:ubuntu登录自动验证。
-
centos可以参考:centos登录自动验证。
-
如果在该步骤提示sudo:需要密码,可以参考:sudonopasswd
2.4 下载安装包
选择一台服务器:
通过git clone方式在gitee上拉kunlun-scripts包:
git clone https://github.com/zettadb/cloudnative.git
cd进入kunlunnative/cluster下:
cd kunlunnative/cluster
获取最新的版本的下载包:以0.9.1为例(如有其它最新版本请用最新版本)
进入泽拓官网http://downloads.zettadb.com/,点击产品下载;
或者直接wget最新的二进程包。
wget https://zettatech.tpddns.cn:14443/dailybuilds/enterprise/kunlun-cluster-manager-0.9.1.tgz --no-check-certificate
wget https://zettatech.tpddns.cn:14443/dailybuilds/enterprise/kunlun-server-0.9.1.tgz--no-check-certificate
wget https://zettatech.tpddns.cn:14443/dailybuilds/enterprise/kunlun-storage-0.9.1.tgz--no-check-certificate
2.5 配置一键安装参数文件
前提:三台服务器创建用户名为kunlun的用户,配置好三台主机间的信任关系。
在一台服务器上操作:Server1
以kunlun用户登录
进入cluster目录,