1离线 TiDB Ansible 部署方案-详解

最新推荐文章于 2023-04-09 23:11:29 发布

仗剑江湖.红尘笑

最新推荐文章于 2023-04-09 23:11:29 发布

阅读量974

点赞数

分类专栏：㊣ Mysql-Cluster ㊣

本文链接：https://blog.csdn.net/lmocm/article/details/102913263

版权

㊣ Mysql-Cluster ㊣专栏收录该内容

14 篇文章 0 订阅

订阅专栏

一：环境要求

Linux 操作系统版本要求

Linux 操作系统平台	版本
Red Hat Enterprise Linux	7.3 及以上
CentOS	7.3 及以上
Oracle Enterprise Linux	7.3 及以上
Ubuntu LTS	16.04 及以上

二：部署大概流程：

1）：准备一台中控机（连接外网，此机功能类似类似发布每台的server端，同时所有的一些下载包在此主机下。）

2）：因为tidb 需要mysql client 调用，所以，中控机可以部署一个MySQL 服务任务。

3）：因为tidb 自带Grafana 平台展示功能，因此可使用中控机替代，在参数inventory.ini 下编辑，当然也可使用另外一台服务器。

4）：中控机需要安装必须的依赖包： git curl pip 及sshpass python2-pip 及ansible 软件。

5) ：所有节点需要安装ntp 服务。

6）：所有节点需要配置ssh 等效性验证（这一步可以自己做，也可以通过tidb 命令部署）

7) ：关闭firewalled, selinux 服务。

8)： tidb, pd，tikv 各自可配置调优文件，在其对应的目录下。

三：TiDB 环境准备。

3.1 准备机器：

下载机一台（中控机）

- 该机器需开放外网访问，用于下载 TiDB Ansible、TiDB 及相关软件安装包。
- 推荐安装 CentOS 7.3 及以上版本 Linux 操作系统。

部署目标机器若干及部署中控机一台

- 系统要求及配置参考准备机器。
- 可以无法访问外网。

在中控机上安装系统依赖包

3. TiDB 集群软件各节点。

4. 此次测试机器清单：

################

[tidb@tikv3-500 conf]$ cat /etc/hosts

127.0.0.1 tikv1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

###### TiDB #######

10.0.77.5 tikv1-500.com

10.0.77.6 tikv2-500.com

10.0.77.10 tikv3-500.com

10.0.77.11 tidb1-500.com

10.0.25.5 tidb2-500.com

10.0.25.6 tidb-cluster.monitor （中控机 && Grafana && MySQL 调用客户端）

192.168.41.22 pd1-500.com

192.168.41.27 pd2-500.com

192.168.41.13 pd3-500.com

##################

3.2 服务器建议配置

TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台。对于开发，测试，及生产环境的服务器硬件配置有以下要求和建议：

开发及测试环境

组件	CPU	内存	本地存储	网络	实例数量(最低要求)
TiDB	8核+	16 GB+	无特殊要求	千兆网卡	1（可与 PD 同机器）
PD	4核+	8 GB+	SAS, 200 GB+	千兆网卡	1（可与 TiDB 同机器）
TiKV	8核+	32 GB+	SSD, 200 GB+	千兆网卡	3

注意：

验证测试环境中的 TiDB 和 PD 可以部署在同一台服务器上。
如进行性能相关的测试，避免采用低性能存储和网络硬件配置，防止对测试结果的正确性产生干扰。
如果仅验证功能，建议使用 Docker Compose 部署方案单机进行测试。
TiDB 对于磁盘的使用以存放日志为主，因此在测试环境中对于磁盘类型和容量并无特殊要求。

生产环境

组件	CPU	内存	硬盘类型	网络	实例数量 (最低要求)
TiDB	16核+	32 GB+	SAS	万兆网卡（2块最佳）	2
PD	4核+	8 GB+	SSD	万兆网卡（2块最佳）	3
TiKV	16核+	32 GB+	SSD	万兆网卡（2块最佳）	3
监控（中控）	8核+	16 GB+	SAS	千兆网卡	1

注意：

生产环境中的 TiDB 和 PD 可以部署和运行在同服务器上，如对性能和可靠性有更高的要求，应尽可能分开部署。
生产环境强烈推荐使用更高的配置。
TiKV 硬盘大小配置建议 PCI-E SSD 不超过 2 TB，普通 SSD 不超过 1.5 TB

3.3 网络要求

TiDB 作为开源分布式 NewSQL 数据库，其正常运行需要网络环境提供如下的网络端口配置要求，管理员可根据实际环境中 TiDB 组件部署的方案，在网络侧和主机侧开放相关端口：

组件	默认端口	说明
TiDB	4000	应用及 DBA 工具访问通信端口
TiDB	10080	TiDB 状态信息上报通信端口
TiKV	20160	TiKV 通信端口
PD	2379	提供 TiDB 和 PD 通信端口
PD	2380	PD 集群节点间通信端口
Pump	8250	Pump 通信端口
Drainer	8249	Drainer 通信端口
Prometheus	9090	Prometheus 服务通信端口
Pushgateway	9091	TiDB，TiKV，PD 监控聚合和上报端口
Node_exporter	9100	TiDB 集群每个节点的系统信息上报通信端口
Blackbox_exporter	9115	Blackbox_exporter 通信端口，用于 TiDB 集群端口监控
Grafana	3000	Web 监控服务对外服务和客户端(浏览器)访问端口
Grafana	8686	grafana_collector 通信端口，用于将 Dashboard 导出为 PDF 格式
Kafka_exporter	9308	Kafka_exporter 通信端口，用于监控 binlog kafka 集群

3.4 TiDB Cluster 简介

TiDB Server

TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如LVS、HAProxy 或 F5）对外提供统一的接入地址。

PD Server

Placement Driver (简称 PD) 是整个集群的管理模块，其主要工作有三个：一是存储集群的元信息（某个 Key 存储在哪个 TiKV 节点）；二是对 TiKV 集群进行调度和负载均衡（如数据的迁移、Raft group leader 的迁移等）；三是分配全局唯一且递增的事务 ID。

PD 通过 Raft 协议保证数据的安全性。Raft 的 leader server 负责处理所有操作，其余的 PD server 仅用于保证高可用。建议部署奇数个 PD 节点。

TiKV Server

TiKV Server 负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region，每个 Region 负责存储一个 Key Range（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个 TiKV 节点会负责多个 Region。TiKV 使用 Raft 协议做复制，保持数据的一致性和容灾。副本以 Region 为单位进行管理，不同节点上的多个 Region 构成一个 Raft Group，互为副本。数据在多个 TiKV 之间的负载均衡由 PD 调度，这里也是以 Region 为单位进行调度。

TiSpark

TiSpark 作为 TiDB 中解决用户复杂 OLAP 需求的主要组件，将 Spark SQL 直接运行在 TiDB 存储层上，同时融合 TiKV 分布式集群的优势，并融入大数据社区生态。至此，TiDB 可以通过一套系统，同时支持 OLTP 与 OLAP，免除用户数据同步的烦恼。

TiDB Operator

TiDB Operator 提供在主流云基础设施（Kubernetes）上部署管理 TiDB 集群的能力。它结合云原生社区的容器编排最佳实践与 TiDB 的专业运维知识，集成一键部署、多集群混部、自动运维、故障自愈等能力，极大地降低了用户使用和管理 TiDB 的门槛与成本。

3.5 开始部署

下载系统依赖离线安装包，上传至中控机。该离线包仅支持 CentOS 7 系统，包含 pip 及 sshpass。

-- 改地址为官方链接地址。

或者直接 yum install :(在线方式）

# yum install epel-release git curl sshpass

# yum install python2-pip

# yum install ansible

# yum install git*

中控机下操作：

3.5.1 安装离线ansible 系统包：

# tar -xzvf ansible-system-rpms.el7.tar.gz

# cd ansible-system-rpms.el7

# chmod u+x install_ansible_system_rpms.sh

# ./install_ansible_system_rpms.sh

安装后可通过 pip -V 验证是否安装成功：

[root@tidb-cluster ~]# pip -V

pip 8.1.2 from /usr/lib/python2.7/site-packages (python 2.7) ## 成功

ps : 如果系统已经安装了pip ,确保其版本大于8.12及以上，否则离线安装ansible 有可能碰见兼容问题。

3.5.2 所有Cluster 节点创建 tidb 用户（也可以是其他用户，但是需要统一）

--所有节点

# useradd -m -d /data/tidb tidb

# passwd tidb

# mkdir -pv /data/tidb/deploy && chown -R tidb:tidb /data

3.5.3 修改系统参数

--中控机连接外网

cat >> /etc/resolv.conf << EOF

nameserver 192.168.0.188

EOF

--所有节点：

# cat >> /etc/pam.d/login << EOF

session required /lib64/security/pam_limits.so

EOF

--所有节点：

# cat >> /etc/security/limits.conf << EOF

# BEGIN ANSIBLE MANAGED BLOCK

tidb soft nofile 1000000

tidb hard nofile 1000000

tidb soft stack 10240

EOF

--所有节点：

关闭 Selinux 参数：

vim /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

设置后需要重启才能生效

--所有节点：

关闭防火墙：

# systemctl stop firewalld.service && systemctl disable firewalld.service

3.5.4 所有节点配置 NTP 服务:

# yum install ntp ntpdate -y

cat >> /etc/ntp.conf << EOF

## ntp server ##

server 192.168.0.188 iburst

EOF

# systemctl restart ntpd.service && systemctl status ntpd.service

3.5.5 手工配置 ssh 互信及 sudo 免密码：

cat >> /etc/sudoers << EOF

# visudo

tidb ALL=(ALL) NOPASSWD: ALL

EOF

执行以下命令，将 tidb ALL=(ALL) NOPASSWD: ALL 添加到文件末尾，即配置好 sudo 免密码。

以 tidb 用户登录到中控机，执行以下命令，将 172.16.10.61 替换成你的部署目标机器 IP，按提示输入部署目标机器 tidb 用户密码，执行成功后即创建好 ssh 互信，其他机器同理。

$ ssh-copy-id -i ~/.ssh/id_rsa.pub 172.16.10.

中控机下执行，其他节点都执行对应一遍：

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.25.6

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.77.5

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.77.6

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.77.10

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.77.11

ssh-copy-id -i ~/.ssh/id_rsa.pub 10.0.25.5

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.41.22

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.41.27

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.41.13

--测试，均不需要输入密码

ssh xxxx date；date

sudo su root

其他节点同样执行：

--------------------------------------------------------

对应脚本：

ps : 手工ssh 等效验证批量处理脚本

#########################

批量处理脚本：

-- yum install expect -y

[tidb@pd3-500 ~]$ cat ssh_auto.sh

#!/bin/bash

[ ! -f /home/tidb/.ssh/id_rsa.pub ] && ssh-keygen -t rsa -p '' &>/dev/null # 密钥对不存在则创建密钥

while read line;do

ip=`echo $line | cut -d " " -f1` # 提取文件中的ip

user_name=`echo $line | cut -d " " -f2` # 提取文件中的用户名

pass_word=`echo $line | cut -d " " -f3` # 提取文件中的密码

expect <<EOF

spawn ssh-copy-id -i /home/tidb/.ssh/id_rsa.pub $user_name@$ip

expect {

"yes/no" { send "yes\n";exp_continue}

"password" { send "$pass_word\n"}

}

expect eof

EOF

done < /home/tidb/host_ip.txt # 读取存储ip的文件

### The End ###

--对应的host_ip.txt 列表

[root@tidb-cluster tidb]# cat host_ip.txt

10.0.25.6 tidb tidb1234

10.0.77.5 tidb tidb1234

10.0.77.6 tidb tidb1234

10.0.77.10 tidb tidb1234

10.0.77.11 tidb tidb1234

10.0.25.5 tidb tidb1234

192.168.41.22 tidb tidb1234

192.168.41.27 tidb tidb1234

192.168.41.13 tidb tidb1234

#############################

四: 安装部署

4.1 ：在中控机上离线安装Ansible 及其依赖

以下是 CentOS 7 系统 Ansible 离线安装方式：

目前 release-2.0 及 master 版本兼容 Ansible 2.5 版本，Ansible 及相关依赖版本记录在 tidb-ansible/requirements.txt 文件中，请下载 Ansible 2.5 离线安装包上传至中控机。

--官方链接：下载 Ansible 2.5 离线安装包

--https://pingcap.com/docs-cn/v3.0/how-to/deploy/orchestrated/offline-ansible/

[root@tidb-cluster ~]# du * -sh

4.0K anaconda-ks.cfg

15M ansible-2.5.0-pip.tar.gz

39M ansible-system-rpms.el7

36M ansible-system-rpms.el7.tar.gz

4.3G CentOS-7-x86_64-DVD-1810.iso

224K tidb-ansible-2.1.17.tar.gz

# tar -xzvf ansible-2.5.0-pip.tar.gz && # cd ansible-2.5.0-pip/ && # chmod u+x install_ansible.sh &&

# ./install_ansible.sh

安装完成后，可通过 ansible --version 查看版本：

[root@tidb-cluster ~]# ansible --version

ansible 2.8.5 -- 这里之前通过在线安装过，版本只要大于 2.5即可

config file = /etc/ansible/ansible.cfg

configured module search path = [u'/root/.ansible/plugins/modules', u'/usr/share/ansible/plugins/modules']

ansible python module location = /usr/lib/python2.7/site-packages/ansible

executable location = /usr/bin/ansible

python version = 2.7.5 (default, Oct 30 2018, 23:45:53) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)]

在下载机上下载 TiDB Ansible 及 TiDB 安装包

以下为 tidb-ansible 与 TiDB 的版本对应关系，版本选择可以咨询官方。

TiDB 版本	tidb-ansible tag	备注
2.0 版本	v2.0.10、v2.0.11	最新 2.0 稳定版本，可用于生产环境。
2.1 版本	v2.1.1 ~ v2.1.6	最新 2.1 稳定版本，可用于生产环境（建议）。
3.0 版本	v3.0.0-beta、v3.0.0-beta.1	目前是 beta 版本，不建议用于生产环境。
latest 版本	None	包含最新特性，每日更新，不建议用于生产环境。

4.2 ：下载安装 tidb-ansible

使用以下命令从 Github TiDB Ansible 项目上下载 TiDB Ansible 相应版本，默认的文件夹名称为 tidb-ansible。 --官方文档：

注意：

部署和升级 TiDB 集群需使用对应的 tidb-ansible 版本，通过改 inventory.ini 文件中的版本来混用可能会产生一些错误。

-----------------------------------------

下载指定 tag 的 tidb-ansible：

git clone -b $tag https://github.com/pingcap/tidb-ansible.git

下载 latest 版本对应的 tidb-ansible：

git clone https://github.com/pingcap/tidb-ansible.git

--------------------------- (忽略）

执行 local_prepare.yml playbook，联网下载 TiDB binary 到下载机

$ cd tidb-ansible && ansible-playbook local_prepare.yml

将执行完以上命令之后的 tidb-ansible 文件夹拷贝到中控机 /data/tidb 目录下，文件属主权限需是 tidb 用户。

4.3 : 如果前面没有手工配置ssh 互信及sudo 规则，那么这里是最后一次了，通过tidb 配置

1）：以 tidb 用户登录中控机，将你的部署目标机器 IP 添加到 hosts.ini 文件 [servers] 区块下。

2）：编辑 tidb-ansible 下的hosts.ini 文件：

[tidb@tidb-cluster ~]$ cd /data/tidb/

[tidb@tidb-cluster tidb]$ ls

deploy tidb-ansible

[tidb@tidb-cluster tidb]$ cd tidb-ansible/

[tidb@tidb-cluster tidb-ansible]$ pwd

/data/tidb/tidb-ansible

[tidb@tidb-cluster tidb-ansible]$ vim hosts.ini

[servers] ## 所有节点包括中控节点。

10.0.77.5

10.0.77.6

10.0.77.10

10.0.77.11

10.0.25.5

10.0.25.6

192.168.41.22

192.168.41.27

192.168.41.13

[all:vars]

username = tidb ## 这里的用户可以自定义，这里就使用default tidb users。

ntp_server = pool.ntp.org ## 默认即可。

3）：执行以下命令，按提示输入部署目标机的root 用户密码，该步骤将在所有部署机器Node 上创建tidb用户，并配置sudo 规则，配置中控机与部署目标机器之间的ssh 等效性互信通道。

ps: 这里所有的root 最好一直，之后可以自定义修改不一致，否然不通过。

--中控机，tidb用户下执行名利，执行后，需输入root 密码

$ ansible-playbook -i hosts.ini create_users.yml -u root -k

（手工配置 ssh 互信及 sudo 免密码可参考如何手工配置 ssh 互信及 sudo 免密码。）

（https://pingcap.com/docs-cn/v3.0/how-to/deploy/orchestrated/ansible/#%E5%A6%82%E4%BD%95%E6%89%8B%E5%B7%A5%E9%85%8D%E7%BD%AE-ssh-%E4%BA%92%E4%BF%A1%E5%8F%8A-sudo-%E5%85%8D%E5%AF%86%E7%A0%81）

#####

[tidb@tidb-cluster tidb-ansible]$ ansible-p

ansible-playbook ansible-playbook-2 ansible-playbook-2.7 ansible-pull ansible-pull-2 ansible-pull-2.7

[tidb@tidb-cluster tidb-ansible]$ ansible-playbook

ansible-playbook ansible-playbook-2 ansible-playbook-2.7

[tidb@tidb-cluster tidb-ansible]$ cat create_users.yml

---

- hosts: all

tasks:

- name: create user

user: name={{ username }} shell=/bin/bash createhome=yes

- name: set authorized key

authorized_key:

user: "{{ username }}"

key: "{{ lookup('file', '/home/{{ username }}/.ssh/id_rsa.pub') }}"

state: present

- name: update sudoers file

lineinfile:

dest: /etc/sudoers

insertafter: EOF

line: '{{ username }} ALL=(ALL) NOPASSWD: ALL'

regexp: '^{{ username }} .*'

state: present

[tidb@tidb-cluster tidb-ansible]$ cat hosts.ini

[servers]

10.0.77.5

10.0.77.6

10.0.77.10

10.0.77.11

10.0.25.5

10.0.25.6

192.168.41.22

192.168.41.27

192.168.41.13

[all:vars]

username = tidb

ntp_server = pool.ntp.org

####

4. 4 ： NTP 服务验证

验证NTP服务是否满足要求

如果你的部署目标机器时间、时区设置一致，已开启 NTP 服务且在正常同步时间，此步骤可忽略。

执行以下命令输出 running 表示 NTP 服务正在运行:

$ systemctl status ntpd.service

ntpd.service - Network Time Service Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled) Active: active (running) since 一 2017-12-18 13:13:19 CST; 3s ago

执行 ntpstat 命令，输出 synchronised to NTP server(正在与 NTP server 同步)表示在正常同步：

[root@tidb-cluster ~]# ntpstat

synchronised to NTP server (192.168.0.188) at stratum 3

time correct to within 129 ms

polling server every 1024 s

######

使用以下命令可使 NTP 服务尽快开始同步，pool.ntp.org 可替换为你的 NTP server：

sudo systemctl stop ntpd.service && \ sudo ntpdate pool.ntp.org && \ sudo systemctl start ntpd.service

在 CentOS 7 系统上执行以下命令，可手工安装 NTP 服务：

sudo yum install ntp ntpdate && \ sudo systemctl start ntpd.service && \ sudo systemctl enable ntpd.service

#######

4.5 ：在部署的目标机上（各node节点），配置CPU freq调节器模式。

-- 必须

为了让 CPU 发挥最大性能，请将 CPUfreq 调节器模式设置为 performance 模式。

你可以通过 cpupower 命令查看系统支持的调节器模式：

https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/power_management_guide/cpufreq_governors#cpufreq_setup

（cpufreq 官方文档）

$ cpupower frequency-info --governors

analyzing CPU 0:

available cpufreq governors: performance powersave

本例中系统支持设置 performance 和 powersave 模式。如果返回 “Not Available”，表示当前系统不支持配置 CPUfreq，跳过该步骤即可。

$cpupower frequency-info --governors

analyzing CPU 0:

available cpufreq governors: Not Available

你可以通过 cpupower 命令查看系统当前的 CPUfreq 调节器模式：

$cpupower frequency-info --policy

analyzing CPU 0:

current policy: frequency should be within 1.20 GHz and 3.20 GHz.

The governor "powersave" may decide which speed to use

within this range.

本例中当前配置是 powersave 模式，你可以通过以下命令设置为 performance 模式。

$ cpupower frequency-set --governor performance

你也可以通过以下命令在部署目标机器上批量设置：

$ ansible -i hosts.ini all -m shell -a "cpupower frequency-set --governor performance" -u tidb -b

4.6 : 对应数据盘挂载，官方文档推荐使用ext4 的，我这里直接使用的xfs ，安装完成，未发现异常（Server version: 5.7.25-TiDB-v2.1.17 MySQL Community Server (Apache License 2.0)）

-- 这一步执行操作：

--> 在部署目标机器上添加数据盘 ext4 文件系统挂载参数

--> 部署目标机器数据盘请格式化成 ext4 文件系统，挂载时请添加 nodelalloc 和 noatime 挂载参数。nodelalloc 是必选参数，否则 Ansible 安装时检测无法通过，noatime 是可选建议参数。

如果你的数据盘已经格式化成 ext4 并挂载，可先执行 umount 命令卸载，从编辑 /etc/fstab 文件步骤开始执行，添加挂载参数重新挂载即可。

umount /dev/nvme0n1

下面以 /dev/nvme0n1 数据盘为例：

查看数据盘

fdisk -l

Disk /dev/nvme0n1: 1000 GB

创建分区表

parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1

格式化文件系统

mkfs.ext4 /dev/nvme0n1

查看数据盘分区 UUID，本例中 nvme0n1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。

lsblk -f

NAME FSTYPE LABEL UUID MOUNTPOINT

sda

├─sda1 ext4 237b634b-a565-477b-8371-6dff0c41f5ab /boot

├─sda2 swap f414c5c0-f823-4bb1-8fdf-e531173a72ed

└─sda3 ext4 547909c1-398d-4696-94c6-03e43e317b60 /

sr0

nvme0n1 ext4 c51eb23b-195c-4061-92a9-3fad812cc12f\

编辑 /etc/fstab 文件，添加 nodelalloc 挂载参数

vi /etc/fstab

UUID=c51eb23b-195c-4061-92a9-3fad812cc12f /data1 ext4 defaults,nodelalloc,noatime 0 2

挂载数据盘

mkdir /data1 && \

mount -a

执行以下命令，如果文件系统为 ext4，并且挂载参数中包含 nodelalloc 表示生效：

mount -t ext4

/dev/nvme0n1 on /data1 type ext4 (rw,noatime,nodelalloc,data=ordered)

####

备注：

默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；这在绝大部分的场合都是没有必要的。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 IO 的效率、提升文件系统的性能。如果遇到机器IO负载高或是CPU WAIT高的情况，可以尝试使用noatime和nodiratime禁止记录最近一次访问时间戳。

修改/etc/fstab中

UUID="4231b126-7e67-45c4-b8bf-554006291d35" /sdb_mnt xfs defaults 0 2

为

UUID="4231b126-7e67-45c4-b8bf-554006291d35" /sdb_mnt xfs defaults,noatime 0 2

修改后重新挂载

mount -o remount /sdb_mnt

或者手动临时挂载

mount -o noatime -o nodiratime -o remount /sdb_mnt

--> 详见文档：《文件系统挂载选项nodiratime、noatime》

####

4.7 分配机器资源，编辑inventory.ini 文件

#####

分配机器资源，编辑 inventory.ini 文件

以 tidb 用户登录中控机，inventory.ini 文件路径为 /home/tidb/tidb-ansible/inventory.ini。

注意：

请使用内网 IP 来部署集群，如果部署目标机器 SSH 端口非默认 22 端口，需添加 ansible_port 变量，如 TiDB1 ansible_host=172.16.10.1 ansible_port=5555。

标准 TiDB 集群需要 6 台机器:

2 个 TiDB 节点

3 个 PD 节点

3 个 TiKV 节点，第一台 TiDB 机器同时用作监控机

默认情况下，单台机器上只需部署一个 TiKV 实例。如果你的 TiKV 部署机器 CPU 及内存配置是部署建议的两倍或以上，并且拥有两块 SSD 硬盘或单块容量超 2T 的 SSD 硬盘，可以考虑部署两实例，但不建议部署两个以上实例。

单机单 TiKV 实例集群拓扑

Name Host IP Services

node1 172.16.10.1 PD1, TiDB1

node2 172.16.10.2 PD2, TiDB2

node3 172.16.10.3 PD3

node4 172.16.10.4 TiKV1

node5 172.16.10.5 TiKV2

node6 172.16.10.6 TiKV3

[tidb_servers]

172.16.10.1

172.16.10.2

[pd_servers]

172.16.10.1

172.16.10.2

172.16.10.3

[tikv_servers]

172.16.10.4

172.16.10.5

172.16.10.6

[monitoring_servers]

172.16.10.1

[grafana_servers]

172.16.10.1

[monitored_servers]

172.16.10.1

172.16.10.2

172.16.10.3

172.16.10.4

172.16.10.5

172.16.10.6

单机多 TiKV 实例集群拓扑

以两实例为例：

Name Host IP Services

node1 172.16.10.1 PD1, TiDB1

node2 172.16.10.2 PD2, TiDB2

node3 172.16.10.3 PD3

node4 172.16.10.4 TiKV1-1, TiKV1-2

node5 172.16.10.5 TiKV2-1, TiKV2-2

node6 172.16.10.6 TiKV3-1, TiKV3-2

[tidb_servers]

172.16.10.1

172.16.10.2

[pd_servers]

172.16.10.1

172.16.10.2

172.16.10.3

# 注意：要使用 TiKV 的 labels，必须同时配置 PD 的 location_labels 参数，否则 labels 设置不生效。

[tikv_servers]

TiKV1-1 ansible_host=172.16.10.4 deploy_dir=/data1/deploy tikv_port=20171 labels="host=tikv1"

TiKV1-2 ansible_host=172.16.10.4 deploy_dir=/data2/deploy tikv_port=20172 labels="host=tikv1"

TiKV2-1 ansible_host=172.16.10.5 deploy_dir=/data1/deploy tikv_port=20171 labels="host=tikv2"

TiKV2-2 ansible_host=172.16.10.5 deploy_dir=/data2/deploy tikv_port=20172 labels="host=tikv2"

TiKV3-1 ansible_host=172.16.10.6 deploy_dir=/data1/deploy tikv_port=20171 labels="host=tikv3"

TiKV3-2 ansible_host=172.16.10.6 deploy_dir=/data2/deploy tikv_port=20172 labels="host=tikv3"

# 部署 3.0 版本的 TiDB 集群时，多实例场景需要额外配置 status 端口，示例如下：

# TiKV1-1 ansible_host=172.16.10.4 deploy_dir=/data1/deploy tikv_port=20171 tikv_status_port=20181 labels="host=tikv1"

# TiKV1-2 ansible_host=172.16.10.4 deploy_dir=/data2/deploy tikv_port=20172 tikv_status_port=20182 labels="host=tikv1"

# TiKV2-1 ansible_host=172.16.10.5 deploy_dir=/data1/deploy tikv_port=20171 tikv_status_port=20181 labels="host=tikv2"

# TiKV2-2 ansible_host=172.16.10.5 deploy_dir=/data2/deploy tikv_port=20172 tikv_status_port=20182 labels="host=tikv2"

# TiKV3-1 ansible_host=172.16.10.6 deploy_dir=/data1/deploy tikv_port=20171 tikv_status_port=20181 labels="host=tikv3"

# TiKV3-2 ansible_host=172.16.10.6 deploy_dir=/data2/deploy tikv_port=20172 tikv_status_port=20182 labels="host=tikv3"

[monitoring_servers]

172.16.10.1

[grafana_servers]

172.16.10.1

[monitored_servers]

172.16.10.1

172.16.10.2

172.16.10.3

172.16.10.4

172.16.10.5

172.16.10.6

# 注意：为使 TiKV 的 labels 设置生效，部署集群时必须设置 PD 的 location_labels 参数。

[pd_servers:vars]

location_labels = ["host"]

服务配置文件参数调整

多实例情况下，需要修改 tidb-ansible/conf/tikv.yml 中 block-cache-size 下面的 capacity 参数：

storage:

block-cache:

capacity: "1GB"

注意：

TiKV 实例数量指每个服务器上 TiKV 的进程数量。

推荐设置：capacity = MEM_TOTAL * 0.5 / TiKV 实例数量

多实例情况下，需要修改 tidb-ansible/conf/tikv.yml 中 high-concurrency、normal-concurrency 和 low-concurrency 三个参数：

readpool:

coprocessor:

# Notice: if CPU_NUM > 8, default thread pool size for coprocessors

# will be set to CPU_NUM * 0.8.

# high-concurrency: 8

# normal-concurrency: 8

# low-concurrency: 8

注意：

推荐配置：TiKV 实例数量 * 参数值 = CPU 核心数量 * 0.8

如果多个 TiKV 实例部署在同一块物理磁盘上，需要修改 conf/tikv.yml 中的 capacity 参数：

raftstore:

capacity: 0

注意：

推荐配置：capacity = 磁盘总容量 / TiKV 实例数量，例如：capacity: "100GB"。

inventory.ini 变量调整

部署目录调整

部署目录通过 deploy_dir 变量控制，默认全局变量已设置为 /home/tidb/deploy，对所有服务生效。如数据盘挂载目录为 /data1，可设置为 /data1/deploy，样例如下：

## Global variables

[all:vars]

deploy_dir = /data1/deploy

如为某一服务单独设置部署目录，可在配置服务主机列表时配置主机变量，以 TiKV 节点为例，其他服务类推，请务必添加第一列别名，以免服务混布时混淆。

TiKV1-1 ansible_host=172.16.10.4 deploy_dir=/data1/deploy

其他变量调整

注意：

以下控制变量开启请使用首字母大写 True，关闭请使用首字母大写 False。

####

本次测试部署单机单实例（tikv）:

参数如下：

###

[tidb@tidb-cluster tidb-ansible]$ cat inventory.ini

## TiDB Cluster Part

[tidb_servers] # tidb server 2个实例

10.0.77.11

10.0.25.5

[tikv_servers] #TIKV server 3个实例

10.0.77.5

10.0.77.6

10.0.77.10

[pd_servers] #pd server 3个实例

192.168.41.22

192.168.41.27

192.168.41.13

[spark_master] # 未配置，为空

[spark_slaves] # 未配置，为空

[lightning_server] # 未配置，为空

[importer_server] # 未配置，为空

## Monitoring Part

# prometheus and pushgateway servers

[monitoring_servers] # 使用中控机替代

10.0.25.6

[grafana_servers] # 使用中控机替代

10.0.25.6

# node_exporter and blackbox_exporter servers

[monitored_servers] # 所有节点及server

10.0.77.5

10.0.77.6

10.0.77.10

10.0.77.11

10.0.25.5

10.0.25.6

192.168.41.22

192.168.41.27

192.168.41.13

[alertmanager_servers] # 管理节点，使用中控机替代。

10.0.25.6

[kafka_exporter_servers]

## Binlog Part

[pump_servers]

[drainer_servers]

## Group variables

[pd_servers:vars]

# location_labels = ["zone","rack","host"]

## Global variables

[all:vars]

#deploy_dir = /home/tidb/deploy

deploy_dir = /data/tidb/deploy

## Connection

# ssh via normal user

ansible_user = tidb

cluster_name = test-cluster

tidb_version = v2.1.17

# process supervision, [systemd, supervise]

process_supervision = systemd

timezone = Asia/Shanghai

enable_firewalld = False

# check NTP service

enable_ntpd = True

set_hostname = False

## binlog trigger

enable_binlog = False

# kafka cluster address for monitoring, example:

# kafka_addrs = "192.168.0.11:9092,192.168.0.12:9092,192.168.0.13:9092"

kafka_addrs = ""

# zookeeper address of kafka cluster for monitoring, example:

# zookeeper_addrs = "192.168.0.11:2181,192.168.0.12:2181,192.168.0.13:2181"

zookeeper_addrs = ""

# enable TLS authentication in the TiDB cluster

enable_tls = False

# KV mode

deploy_without_tidb = False

# Optional: Set if you already have a alertmanager server.

# Format: alertmanager_host:alertmanager_port

alertmanager_target = ""

grafana_admin_user = "admin"

grafana_admin_password = "admin"

### Collect diagnosis

collect_log_recent_hours = 2

enable_bandwidth_limit = True

# default: 10Mb/s, unit: Kbit/s

collect_bandwidth_limit = 10000

###

具体参数详解：

变量	含义
cluster_name	集群名称，可调整
tidb_version	TiDB 版本，TiDB Ansible 各分支默认已配置
process_supervision	进程监管方式，默认为 systemd，可选 supervise
timezone	新安装 TiDB 集群第一次启动 bootstrap（初始化）时，将 TiDB 全局默认时区设置为该值。TiDB 使用的时区后续可通过 time_zone 全局变量和 session 变量来修改，参考时区支持。默认为 Asia/Shanghai，可选值参考 timzone 列表。
enable_firewalld	开启防火墙，默认不开启，如需开启，请将部署建议-网络要求中的端口加入白名单
enable_ntpd	检测部署目标机器 NTP 服务，默认为 True，请勿关闭
set_hostname	根据 IP 修改部署目标机器主机名，默认为 False
enable_binlog	是否部署 pump 并开启 binlog，默认为 False，依赖 Kafka 集群，参见 zookeeper_addrs 变量
zookeeper_addrs	binlog Kafka 集群的 zookeeper 地址
enable_slow_query_log	TiDB 慢查询日志记录到单独文件({{ deploy_dir }}/log/tidb_slow_query.log)，默认为 False，记录到 tidb 日志
deploy_without_tidb	KV 模式，不部署 TiDB 服务，仅部署 PD、TiKV 及监控服务，请将 inventory.ini 文件中 tidb_servers 主机组 IP 设置为空。
alertmanager_target	可选：如果你已单独部署 alertmanager，可配置该变量，格式：alertmanager_host:alertmanager_port
grafana_admin_user	Grafana 管理员帐号用户名，默认为 admin
grafana_admin_password	Grafana 管理员帐号密码，默认为 admin，用于 Ansible 导入 Dashboard 和创建 API Key，如后期通过 grafana web 修改了密码，请更新此变量
collect_log_recent_hours	采集日志时，采集最近几个小时的日志，默认为 2 小时
enable_bandwidth_limit	在中控机上从部署目标机器拉取诊断数据时，是否限速，默认为 True，与 collect_bandwidth_limit 变量结合使用
collect_bandwidth_limit	在中控机上从部署目标机器拉取诊断数据时限速多少，单位: Kbit/s，默认 10000，即 10Mb/s，如果是单机多 TiKV 实例部署方式，需除以单机实例个数
prometheus_storage_retention	Prometheus 监控数据的保留时间（默认为 30 天）；2.1.7、3.0 以及之后的 tidb-ansible 版本中，group_vars/monitoring_servers.yml 文件里新增的配置

4.8 部署任务 (中控机下）检测是否通过。

ansible-playbook 执行 Playbook 时默认并发为 5，部署目标机器较多时可添加 -f 参数指定并发，如 ansible-playbook deploy.yml -f 10

1），确认 tidb-ansible/inventory.ini 文件中 ansible_user = tidb，本例使用 tidb 用户作为服务运行用户，配置如下：

ansible_user 不要设置成 root 用户，tidb-ansible 限制了服务以普通用户运行。

## Connection

# ssh via normal user

ansible_user = tidb

2），执行以下命令如果所有 server 返回 tidb 表示 ssh 互信配置成功。

$ ansible -i inventory.ini all -m shell -a 'whoami'

3），执行以下命令如果所有 server 返回 root 表示 tidb 用户 sudo 免密码配置成功。

$ ansible -i inventory.ini all -m shell -a 'whoami' -b

4），执行 local_prepare.yml playbook，联网下载 TiDB binary 到中控机：

$ ansible-playbook local_prepare.yml

5),初始化系统环境，修改内核参数

$ ansible-playbook bootstrap.yml

4.9 安装启动 TiDB 集群软件

-- 安装tidb 软件。

$ ansible-playbook deploy.yml

注意：

Grafana Dashboard 上的 Report 按钮可用来生成 PDF 文件，此功能依赖 fontconfig 包和英文字体。如需使用该功能，登录 grafana_servers 机器，用以下命令安装：

sudo yum install fontconfig open-sans-fonts

-- 启动TiDB 软件。

$ ansible-playbook start.yml

4.10 ,测试连接：

测试集群

测试连接 TiDB 集群，推荐在 TiDB 前配置负载均衡来对外统一提供 SQL 接口。

使用 MySQL 客户端连接测试，TCP 4000 端口是 TiDB 服务默认端口。

mysql -u root -h 172.16.10.1 -P 4000

### 连接结果 ###

### 通过mysql 客户端登陆测试：

tidb1 登陆：

[mysql@tidb09 ~]$ /usr/local/mysql-5.7.25/bin/mysql -uroot -h 10.0.77.11 -P4000

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 200

Server version: 5.7.25-TiDB-v2.1.17 MySQL Community Server (Apache License 2.0)

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show processlist;

+------+------+---------------+------+---------+------+-------+------------------+------+

+------+------+---------------+------+---------+------+-------+------------------+------+

| 200 | root | 192.168.41.24 | NULL | Query | 0 | 2 | show processlist | 0 |

+------+------+---------------+------+---------+------+-------+------------------+------+

1 row in set (0.00 sec)

mysql>

tidb2登陆：

[mysql@tidb09 ~]$ /usr/local/mysql-5.7.25/bin/mysql -uroot -h 10.0.25.5 -P4000

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 208

Server version: 5.7.25-TiDB-v2.1.17 MySQL Community Server (Apache License 2.0)

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show processlist;

+------+------+---------------+------+---------+------+-------+------------------+------+

+------+------+---------------+------+---------+------+-------+------------------+------+

| 208 | root | 192.168.41.24 | NULL | Query | 0 | 2 | show processlist | 0 |

+------+------+---------------+------+---------+------+-------+------------------+------+

1 row in set (0.00 sec)

#####

4.11 ,通过浏览器访问监控平台。(ganafa 监控）

地址：http://XXX.XXX.XXX.XXX:3000 默认帐号密码是：admin/admin

-- 这里的IP 和inventory.ini 配置文件中的参数一一对应。

截止于此： TiDB Cluster 安装部署完成

-------------- The End -----------

###############################################

常见部署问题

如何自定义端口

修改 inventory.ini 文件，在相应服务 IP 后添加以下主机变量即可：

组件	端口变量	默认端口	说明
TiDB	tidb_port	4000	应用及 DBA 工具访问通信端口
TiDB	tidb_status_port	10080	TiDB 状态信息上报通信端口
TiKV	tikv_port	20160	TiKV 通信端口
TiKV	tikv_status_port	20180	上报 TiKV 状态的通信端口
PD	pd_client_port	2379	提供 TiDB 和 PD 通信端口
PD	pd_peer_port	2380	PD 集群节点间通信端口
Pump	pump_port	8250	Pump 通信端口
Prometheus	prometheus_port	9090	Prometheus 服务通信端口
Pushgateway	pushgateway_port	9091	TiDB， TiKV， PD 监控聚合和上报端口
Node_exporter	node_exporter_port	9100	TiDB 集群每个节点的系统信息上报通信端口
Blackbox_exporter	blackbox_exporter_port	9115	Blackbox_exporter 通信端口，用于 TiDB 集群端口监控
Grafana	grafana_port	3000	Web 监控服务对外服务和客户端(浏览器)访问端口
Grafana	grafana_collector_port	8686	grafana_collector 通信端口，用于将 Dashboard 导出为 PDF 格式
Kafka_exporter	kafka_exporter_port	9308	Kafka_exporter 通信端口，用于监控 binlog Kafka 集群

###############################################

如何自定义部署目录

修改 inventory.ini 文件，在相应服务 IP 后添加以下主机变量即可：

组件	目录变量	默认目录	说明
全局	deploy_dir	/home/tidb/deploy	部署目录
TiDB	tidb_log_dir	{{ deploy_dir }}/log	日志目录
TiKV	tikv_log_dir	{{ deploy_dir }}/log	日志目录
TiKV	tikv_data_dir	{{ deploy_dir }}/data	数据目录
TiKV	wal_dir	””	rocksdb write-ahead 日志目录，为空时与 TiKV 数据目录一致
TiKV	raftdb_path	””	raftdb 目录，为空时为 tikv_data_dir/raft
PD	pd_log_dir	{{ deploy_dir }}/log	日志目录
PD	pd_data_dir	{{ deploy_dir }}/data.pd	数据目录
pump	pump_log_dir	{{ deploy_dir }}/log	日志目录
pump	pump_data_dir	{{ deploy_dir }}/data.pump	数据目录
prometheus	prometheus_log_dir	{{ deploy_dir }}/log	日志目录
prometheus	prometheus_data_dir	{{ deploy_dir }}/data.metrics	数据目录
pushgateway	pushgateway_log_dir	{{ deploy_dir }}/log	日志目录
node_exporter	node_exporter_log_dir	{{ deploy_dir }}/log	日志目录
grafana	grafana_log_dir	{{ deploy_dir }}/log	日志目录
grafana	grafana_data_dir	{{ deploy_dir }}/data.grafana	数据目录

################################################

如何检测 NTP 服务是否正常

执行以下命令输出 running 表示 NTP 服务正在运行:

$ sudo systemctl status ntpd.service

ntpd.service - Network Time Service Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled) Active: active (running) since 一 2017-12-18 13:13:19 CST; 3s ago

执行 ntpstat 命令，输出 synchronised to NTP server(正在与 NTP server 同步)表示在正常同步：

$ ntpstat

synchronised to NTP server (85.199.214.101) at stratum 2 time correct to within 91 ms polling server every 1024 s

注意：

Ubuntu 系统需安装 ntpstat 软件包。

以下情况表示 NTP 服务未正常同步：

ntpstat

unsynchronised

以下情况表示 NTP 服务未正常运行：

ntpstat

Unable to talk to NTP daemon. Is it running?

使用以下命令可使 NTP 服务尽快开始同步，pool.ntp.org 可替换为你的 NTP server：

sudo systemctl stop ntpd.service && \ sudo ntpdate pool.ntp.org && \ sudo systemctl start ntpd.service

在 CentOS 7 系统上执行以下命令，可手工安装 NTP 服务：

sudo yum install ntp ntpdate && \ sudo systemctl start ntpd.service && \ sudo systemctl enable ntpd.service

####################################################

如何调整进程监管方式从 supervise 到 systemd

# process supervision, [systemd, supervise] process_supervision = systemd

TiDB-Anisble 在 TiDB v1.0.4 版本之前进程监管方式默认为 supervise，之前安装的集群可保持不变，如需更新为 systemd，需关闭集群按以下方式变更：

ansible-playbook stop.yml ansible-playbook deploy.yml -D ansible-playbook start.yml

#####################################################

如何手工配置 ssh 互信及 sudo 免密码 ( 约）

######################################################

You need to install jmespath prior to running json_query filter 报错

请参照在中控机器上安装 Ansible 及其依赖在中控机上通过 pip 安装 Ansible 及相关依赖的指定版本，默认会安装 jmespath。

####

在中控机器上安装 Ansible 及其依赖

以 tidb 用户登录中控机，请务必按以下方式通过 pip 安装 Ansible 及其相关依赖的指定版本，否则会有兼容问题。安装完成后，可通过 ansible --version 查看 Ansible 版本。目前 release-2.0、release-2.1 及 master 版本兼容 Ansible 2.4 及 Ansible 2.5 版本，Ansible 及相关依赖版本记录在 tidb-ansible/requirements.txt 文件中。

$ cd /home/tidb/tidb-ansible && \ $ sudo pip install -r ./requirements.txt && \ $ ansible --version

ansible 2.5.0

####

可通过以下命令验证 jmespath 是否安装成功：

$ pip show jmespath

Name: jmespath Version: 0.9.0

在中控机上 python 交互窗口里 import jmespath，如果没有报错，表示依赖安装成功，如果有 ImportError: No module named jmespath 报错，表示未安装 python jmespath 模块。

$ python

Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import jmespath

###################################################

启动 Pump/Drainer 报 zk: node does not exist 错误

请检查 inventory.ini 里的 zookeeper_addrs 参数配置与 Kafka 集群内的配置是否相同、是否填写了命名空间。关于命名空间的配置说明如下：

# ZooKeeper connection string (see ZooKeeper docs for details). # ZooKeeper address of Kafka cluster, example: # zookeeper_addrs = "192.168.0.11:2181,192.168.0.12:2181,192.168.0.13:2181" # You can also append an optional chroot string to the URLs to specify the root directory for all Kafka znodes. Example: # zookeeper_addrs = "192.168.0.11:2181,192.168.0.12:2181,192.168.0.13:2181/kafka/123"

############

TiDB Ansible 常见的运维操作：

############

启动集群

此操作会按顺序启动整个 TiDB 集群所有组件（包括 PD、TiDB、TiKV 等组件和监控组件）。

$ ansible-playbook start.yml

关闭集群

此操作会按顺序关闭整个 TiDB 集群所有组件（包括 PD、TiDB、TiKV 等组件和监控组件）。

$ ansible-playbook stop.yml

清除集群数据

此操作会关闭 TiDB、Pump、TiKV、PD 服务，并清空 Pump、TiKV、PD 数据目录。

$ ansible-playbook unsafe_cleanup_data.yml

销毁集群

此操作会关闭集群，并清空部署目录，若部署目录为挂载点，会报错，可忽略

$ ansible-playbook unsafe_cleanup.yml

#####################################################

变更组件配置

更新组件配置模板

TiDB 集群组件配置模板存储在 /home/tidb/tidb-ansible/conf 文件夹下。

组件	配置文件模板名
TiDB	tidb.yml
TiKV	tikv.yml
PD	pd.yml

默认配置项是注释状态，使用默认值。如果需要修改，需取消注释，即去除 #，修改对应参数值。配置模板使用 yaml 格式，注意参数名及参数值之间使用 : 分隔，缩进为两个空格。

如修改 TiKV 配置中 high-concurrency、normal-concurrency 和 low-concurrency 三个参数为 16：

readpool: coprocessor: # Notice: if CPU_NUM > 8, default thread pool size for coprocessors # will be set to CPU_NUM * 0.8. high-concurrency: 16 normal-concurrency: 16 low-concurrency: 16

##################################################

仗剑江湖.红尘笑

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
1离线 TiDB Ansible 部署方案-详解

一：环境要求Linux 操作系统版本要求 Linux 操作系统平台版本 Red Hat Enterprise Linux 7.3 及以上 CentOS 7.3 及以上 Oracle Enterprise Linux 7.3 及以上 ...
复制链接

扫一扫