TiDB分布式数据库部署与安装详解

TiUP 是 TiDB 4.0 版本引入的集群运维工具，TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群，以及管理 TiDB 集群参数。TiDB架构见：TiDB分布式数据库架构介绍

部署环境说明见下图：

1 添加数据盘 EXT4 文件系统

生产环境部署，建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最佳实施方案，其可靠性、安全性、稳定性已经在大量线上场景中得到证实。

使用 root 用户登录目标机器，将部署目标机器数据盘格式化成 ext4 文件系统，挂载时添加 nodelalloc 和 noatime 挂载参数。nodelalloc 是必选参数，否则 TiUP 安装时检测无法通过；noatime 是可选建议参数。

注意：

如果你的数据盘已经格式化成 ext4 并挂载了磁盘，可先执行 umount /dev/vdb 命令卸载，从编辑 /etc/fstab 文件步骤开始执行，添加挂载参数重新挂载即可。

1 查看数据盘

fdisk -l

2 创建分区

parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1

3 格式化文件系统

mkfs.ext4 /dev/vdb

4 使用 lsblk 命令查看分区的设备号及UUID：

lsblk -f

5 编辑 /etc/fstab 文件，添加 nodelalloc 挂载参数

vi /etc/fstab

UUID=957bb4c8-68f7-40df-ab37-1de7a4b5ee5e /data ext4 defaults,nodelalloc,noatime 0 2

6 创建数据目录并挂载磁盘

mkdir -p /data && mount -a

2 手动配置 SSH 互信及 sudo 免密码

(1) 以 root 用户依次登录到部署目标机器创建 tidb 用户并设置登录密码。

useradd tidb && passwd tidb

(2) 执行以下命令，将 tidb ALL=(ALL) NOPASSWD: ALL 添加到文件末尾，即配置好 sudo 免密码。

visudo

tidb ALL=(ALL) NOPASSWD: ALL

(3) 切换tidb用户

三台均需要进行如下操作

mkdir ~/.ssh

chmod 700 ~/.ssh

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp /home/tidb/.ssh/authorized_keys tidb@tidb1:/home/tidb/.ssh/

scp /home/tidb/.ssh/authorized_keys tidb@tidb2:/home/tidb/.ssh/

scp /home/tidb/.ssh/authorized_keys tidb@tidb3:/home/tidb/.ssh/

(4)以 tidb 用户登录中控机，通过 ssh 的方式登录目标机器 IP。如果不需要输入密码并登录成功，即表示 SSH 互信配置成功。

ssh 10.229.45.124

(5)以 tidb 用户登录到部署目标机器后，执行以下命令，不需要输入密码并切换到 root 用户，表示 tidb 用户 sudo 免密码配置成功。

sudo -su root

3 系统环境与工具设置

1 安装 numactl 工具

yum -y install numactl

2 调大 sshd 服务的连接数

vim /etc/ssh/sshd_config

MaxSessions = 20

重启 sshd 服务：

systemctl restart sshd.service

4 安装部署流程

1 下载离线版本 TiDB 社区版

2 解压

tar xzvf tidb-community-server-${version}-linux-amd64.tar.gz

cd tidb-community-server-${version}-linux-amd64

./local_install.sh

source /home/tidb/.bash_profile

source /home/tidb/.bash_profile

3 将 server 和 toolkit 两个离线镜像合并，执行以下命令合并离线组件到 server 目录下

tar xf tidb-community-toolkit-${version}-linux-amd64.tar.gz

ls -ld tidb-community-server-${version}-linux-amd64 tidb-community-toolkit-${version}-linux-amd64

cd tidb-community-server-${version}-linux-amd64/

cp -rp keys ~/.tiup/

tiup mirror merge ../tidb-community-toolkit-${version}-linux-amd64

4 设置配置文件

4.1 获取配置模板

tiup cluster template > topo.yaml

4.2 填写配置文件(根据自己的机器填写信息,以下是模板)

user: “tidb”：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端口通过 ssh 登录目标机器

deploy_dir/data_dir: 分别为集群组件安装目录和数据目录

replication.enable-placement-rules：设置这个 PD 参数来确保 TiFlash 正常运行

host：设置为本部署主机的 IP

# # Global variables are applied to all deployments and used as the default value of

# # the deployments if a specific deployment value is missing.

global:

user: "tidb"

ssh_port: 22

deploy_dir: "/tidb-deploy"

data_dir: "/tidb-data"

# # Monitored variables are applied to all the machines.

monitored:

node_exporter_port: 9100

blackbox_exporter_port: 9115

server_configs:

tidb:

log.slow-threshold: 300

tikv:

readpool.storage.use-unified-pool: false

readpool.coprocessor.use-unified-pool: true

pd:

replication.enable-placement-rules: true

replication.location-labels: ["host"]

tiflash:

logger.level: "info"

pd_servers:

- host: 10.0.1.1

tidb_servers:

- host: 10.0.1.1

tikv_servers:

- host: 10.0.1.1

port: 20160

status_port: 20180

config:

server.labels: { host: "logic-host-1" }

- host: 10.0.1.1

port: 20161

status_port: 20181

config:

server.labels: { host: "logic-host-2" }

- host: 10.0.1.1

port: 20162

status_port: 20182

config:

server.labels: { host: "logic-host-3" }

tiflash_servers:

- host: 10.0.1.1

monitoring_servers:

- host: 10.0.1.1

grafana_servers:

- host: 10.0.1.1

5 集群安装

命令： tiup cluster deploy ./topo.yaml --user root -p

参数 表示设置集群名称

参数 表示设置集群版本，可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本

参数 -p 表示在连接目标机器时使用密码登录

tiup cluster deploy tidbtest 6.5.0 ./topo.yaml --user root -p

按照引导，输入”y”及 root 密码，来完成部署：

Do you want to continue? [y/N]: y

Input SSH password:

成功安装会提示如下启动字样：

Cluster tidbtest deployed successfully, you can start it with command: `tiup cluster start tidbtest`

6 启动集群

tiup cluster start <cluster-name>

出现如下结果表明成功：

Started cluster tidbtest successfully

The root password of TiDB database has been changed.

The new password is: ‘z1+5%vS9826As^#XHV’.

Copy and record it to somewhere safe, it is only displayed once, and will not be stored.

The generated password can NOT be get and shown again.

7 访问集群

安装 MySQL 客户端。如果已安装 MySQL 客户端则可跳过这一步骤。

yum -y install mysql

访问 TiDB 数据库，密码为空：

mysql -h 10.0.1.1 -P 4000 -u root -p

Enter password: z1+5%vS9826As^#XHV

后续便可进行创建databases/tables以及相关的增、删、改和查等操作，如果想进一步了解源码。可以结合gdb调试了解实现原理。

8 tiup 相关命令

1）tiup cluster list      // 查看集群列表信息

2）tiup cluster display     //执行以下命令查看集群的拓扑结构和状态：

3）tiup cluster start     //启动集群

4）tiup cluster stop     //关闭集群

5）tiup cluster restart     //重启集群

6）tiup cluster destroy     //删除/销毁集群