TiDB Binary 部署方案详解(备份)

最新推荐文章于 2024-04-22 23:31:26 发布
最新推荐文章于 2024-04-22 23:31:26 发布
阅读量680 收藏 3
点赞数 1
文章标签： 运维 数据库 网络
原文链接：https://my.oschina.net/zhenruyan/blog/3097280
版权

TiDB Binary 部署指导

概述

一个完整的 TiDB 集群包括 PD，TiKV 以及 TiDB。启动顺序依次是 PD，TiKV 以及 TiDB。在关闭数据库服务时，请按照启动的相反顺序进行逐一关闭服务。

阅读本章前，请先确保阅读 TiDB 整体架构及部署建议。

本文档描述了三种场景的二进制部署方式：

TiDB 组件及默认端口

1. TiDB 数据库组件（必装）

组件默认端口协议说明
ssh22TCPsshd 服务
TiDB4000TCP应用及 DBA 工具访问通信端口
TiDB10080TCPTiDB 状态信息上报通信端口
TiKV20160TCPTiKV 通信端口
PD2379TCP提供 TiDB 和 PD 通信端口
PD2380TCPPD 集群节点间通信端口

2. TiDB 数据库组件（选装）

组件默认端口协议说明
Prometheus9090TCPPrometheus 服务通信端口
Pushgateway9091TCPTiDB, TiKV, PD 监控聚合和上报端口
Node_exporter9100TCPTiDB 集群每个节点的系统信息上报通信端口
Grafana3000TCPWeb 监控服务对外服务和客户端(浏览器)访问端口
alertmanager9093TCP告警服务端口

TiDB 安装前系统配置与检查

操作系统检查

配置描述
支持平台请查看和了解系统部署建议
文件系统TiDB 部署环境推荐使用 ext4 文件系统
Swap 空间TiDB 部署推荐关闭 Swap 空间
Disk Block Size设置系统磁盘 Block 大小为 4096

网络与防火墙

配置描述
防火墙 / 端口请查看 TiDB 所需端口在各个节点之间是否能正常访问

操作系统参数

配置说明
Nice Limits系统用户 tidb 的 nice 值设置为缺省值 0
min_free_kbytes在 sysctl.conf 中关于 vm.min_free_kbytes 的设置需要足够高
User Open Files Limit对数据库管理员 tidb 的 open 文件数设置为 1000000
System Open File Limits对系统的 open 文件数设置为 1000000
User Process Limits在 limits.conf 配置的 tidb 用户的 nproc 为 4096
Address Space Limits在 limits.conf 配置的 tidb 用户空间为 unlimited
File Size Limits在 limits.conf 配置的 tidb 用户 fsize 为 unlimited
Disk Readahead设置数据磁盘 readahead 至少为 4096
NTP 服务为各个节点配置 NTP 时间同步服务
SELinux关闭各个节点的 SELinux 服务
CPU Frequency ScalingTiDB 推荐打开 CPU 超频
Transparent Hugepages针对 Red Hat 7+ 和 CentOS 7+ 系统, Transparent Hugepages 必须被设置为 always
I/O Scheduler设置数据磁盘 I/0 Schedule 设置为 deadline 模式
vm.swappiness设置 vm.swappiness = 0

注意：请联系系统管理员进行操作系统参数调整。

数据库运行用户设置

配置说明
LANG 环境设定设置 LANG = en_US.UTF8
TZ 时区设定确保所有节点的时区 TZ 设置为一样的值

创建系统数据库运行账户

在 Linux 环境下，在每台安装节点上创建 tidb 作为数据库系统运行用户并设置集群节点之间的 ssh 互信访问。以下是一个示例，具体创建用户与开通 ssh 互信访问请联系系统管理员进行。

# useradd tidb
# usermod -a -G tidb tidb
# su - tidb
Last login: Tue Aug 22 12:06:23 CST 2017 on pts/2
-bash-4.2$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/tidb/.ssh/id_rsa):
Created directory '/home/tidb/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/tidb/.ssh/id_rsa.
Your public key has been saved in /home/tidb/.ssh/id_rsa.pub.
The key fingerprint is:
5a:00:e6:df:9e:40:25:2c:2d:e2:6e:ee:74:c6:c3:c1 tidb@t001
The key's randomart image is:
+--[ RSA 2048]----+
|    oo. .        |
|  .oo.oo         |
| . ..oo          |
|  .. o o         |
| .  E o S        |
|  oo . = .       |
| o. * . o        |
| ..o .           |
| ..              |
+-----------------+

-bash-4.2$ cd .ssh
-bash-4.2$ cat id_rsa.pub >> authorized_keys
-bash-4.2$ chmod 644 authorized_keys
-bash-4.2$ ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.100

下载官方 Binary

TiDB 官方提供了支持 Linux 版本的二进制安装包，官方推荐使用 Redhat 7+、CentOS 7+ 以上版本的操作系统，不推荐在 Redhat 6、CentOS 6 上部署 TiDB 集群。

操作系统：Linux ( Redhat 7+，CentOS 7+ )

执行步骤：

# 下载压缩包

wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gz
wget http://download.pingcap.org/tidb-latest-linux-amd64.sha256

# 检查文件完整性，返回 ok 则正确
sha256sum -c tidb-latest-linux-amd64.sha256

# 解开压缩包
tar -xzf tidb-latest-linux-amd64.tar.gz
cd tidb-latest-linux-amd64

单节点方式快速部署

在获取 TiDB 二进制文件包后，我们可以在单机上面，运行和测试 TiDB 集群，请按如下步骤依次启动 PD，TiKV，TiDB。

注意：以下启动各个应用程序组件实例的时候，请选择后台启动，避免前台失效后程序自动退出。

步骤一. 启动 PD：

./bin/pd-server --data-dir=pd \
                --log-file=pd.log

步骤二. 启动 TiKV：

./bin/tikv-server --pd="127.0.0.1:2379" \
                  --data-dir=tikv \
                  --log-file=tikv.log

步骤三. 启动 TiDB：

./bin/tidb-server --store=tikv \
                  --path="127.0.0.1:2379" \
                  --log-file=tidb.log

步骤四. 使用 MySQL 客户端连接 TiDB:

mysql -h 127.0.0.1 -P 4000 -u root -D test

功能性测试部署

如果只是对 TiDB 进行测试，并且机器数量有限，我们可以只启动一台 PD 测试整个集群。

这里我们使用四个节点，部署一个 PD，三个 TiKV，以及一个 TiDB，各个节点以及所运行服务信息如下：

NameHost IPServices
node1192.168.199.113PD1, TiDB
node2192.168.199.114TiKV1
node3192.168.199.115TiKV2
node4192.168.199.116TiKV3

请按如下步骤依次启动 PD 集群，TiKV 集群以及 TiDB：

注意：以下启动各个应用程序组件实例的时候，请选择后台启动，避免前台失效后程序自动退出。

步骤一. 在 node1 启动 PD：

./bin/pd-server --name=pd1 \
                --data-dir=pd1 \
                --client-urls="http://192.168.199.113:2379" \
                --peer-urls="http://192.168.199.113:2380" \
                --initial-cluster="pd1=http://192.168.199.113:2380" \
                --log-file=pd.log

步骤二. 在 node2，node3，node4 启动 TiKV：

./bin/tikv-server --pd="192.168.199.113:2379" \
                  --addr="192.168.199.114:20160" \
                  --data-dir=tikv1 \
                  --log-file=tikv.log

./bin/tikv-server --pd="192.168.199.113:2379" \
                  --addr="192.168.199.115:20160" \
                  --data-dir=tikv2 \
                  --log-file=tikv.log

./bin/tikv-server --pd="192.168.199.113:2379" \
                  --addr="192.168.199.116:20160" \
                  --data-dir=tikv3 \
                  --log-file=tikv.log

步骤三. 在 node1 启动 TiDB：

./bin/tidb-server --store=tikv \
                  --path="192.168.199.113:2379" \
                  --log-file=tidb.log

步骤四. 使用 MySQL 客户端连接 TiDB：

mysql -h 192.168.199.113 -P 4000 -u root -D test

多节点集群模式部署

在生产环境中，我们推荐多节点部署 TiDB 集群，首先请参考部署建议。

这里我们使用六个节点，部署三个 PD，三个 TiKV，以及一个 TiDB，各个节点以及所运行服务信息如下：

NameHost IPServices
node1192.168.199.113PD1, TiDB
node2192.168.199.114PD2
node3192.168.199.115PD3
node4192.168.199.116TiKV1
node5192.168.199.117TiKV2
node6192.168.199.118TiKV3

请按如下步骤依次启动 PD 集群，TiKV 集群以及 TiDB：

步骤一 . 在 node1，node2，node3 依次启动 PD：

./bin/pd-server --name=pd1 \
                --data-dir=pd1 \
                --client-urls="http://192.168.199.113:2379" \
                --peer-urls="http://192.168.199.113:2380" \
                --initial-cluster="pd1=http://192.168.199.113:2380,pd2=http://192.168.199.114:2380,pd3=http://192.168.199.115:2380" \
                -L "info" \
                --log-file=pd.log

./bin/pd-server --name=pd2 \
                --data-dir=pd2 \
                --client-urls="http://192.168.199.114:2379" \
                --peer-urls="http://192.168.199.114:2380" \
                --initial-cluster="pd1=http://192.168.199.113:2380,pd2=http://192.168.199.114:2380,pd3=http://192.168.199.115:2380" \
                --join="http://192.168.199.113:2379" \
                -L "info" \
                --log-file=pd.log

./bin/pd-server --name=pd3 \
                --data-dir=pd3 \
                --client-urls="http://192.168.199.115:2379" \
                --peer-urls="http://192.168.199.115:2380" \
                --initial-cluster="pd1=http://192.168.199.113:2380,pd2=http://192.168.199.114:2380,pd3=http://192.168.199.115:2380" \
                --join="http://192.168.199.113:2379" \
                -L "info" \
                --log-file=pd.log

步骤二. 在 node4，node5，node6 启动 TiKV：

./bin/tikv-server --pd="192.168.199.113:2379,192.168.199.114:2379,192.168.199.115:2379" \
                  --addr="192.168.199.116:20160" \
                  --data-dir=tikv1 \
                  --log-file=tikv.log

./bin/tikv-server --pd="192.168.199.113:2379,192.168.199.114:2379,192.168.199.115:2379" \
                  --addr="192.168.199.117:20160" \
                  --data-dir=tikv2 \
                  --log-file=tikv.log

./bin/tikv-server --pd="192.168.199.113:2379,192.168.199.114:2379,192.168.199.115:2379" \
                  --addr="192.168.199.118:20160" \
                  --data-dir=tikv3 \
                  --log-file=tikv.log

步骤三. 在 node1 启动 TiDB：

./bin/tidb-server --store=tikv \
                  --path="192.168.199.113:2379,192.168.199.114:2379,192.168.199.115:2379" \
                  --log-file=tidb.log

步骤四. 使用 MySQL 客户端连接 TiDB：

mysql -h 192.168.199.113 -P 4000 -u root -D test

注意：在生产环境中启动 TiKV 时，建议使用 --config 参数指定配置文件路径，如果不设置这个参数，TiKV 不会读取配置文件。同样，在生产环境中部署 PD 时，也建议使用 --config 参数指定配置文件路径。

TiKV 调优参见：TiKV 性能参数调优。

注意：如果使用 nohup 在生产环境中启动集群，需要将启动命令放到一个脚本文件里面执行，否则会出现因为 Shell 退出导致 nohup 启动的进程也收到异常信号退出的问题，具体参考进程异常退出。

TiDB 监控和告警环境安装

安装部署监控和告警环境的系统信息如下：

NameHost IPServices
node1192.168.199.113node_export, pushgateway, Prometheus, Grafana
node2192.168.199.114node_export
node3192.168.199.115node_export
node4192.168.199.116node_export

获取二进制包

# 下载压缩包
wget https://github.com/prometheus/prometheus/releases/download/v1.5.2/prometheus-1.5.2.linux-amd64.tar.gz
wget https://github.com/prometheus/node_exporter/releases/download/v0.14.0-rc.2/node_exporter-0.14.0-rc.2.linux-amd64.tar.gz
wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.2-1486989747.linux-x64.tar.gz
wget https://github.com/prometheus/pushgateway/releases/download/v0.3.1/pushgateway-0.3.1.linux-amd64.tar.gz

# 解开压缩包
tar -xzf prometheus-1.5.2.linux-amd64.tar.gz
tar -xzf node_exporter-0.14.0-rc.1.linux-amd64.tar.gz
tar -xzf grafana-4.1.2-1486989747.linux-x64.tar.gz
tar -xzf pushgateway-0.3.1.linux-amd64.tar.gz

启动监控服务

在 node1，node2，node3，node4 启动 node_exporter：

$cd node_exporter-0.14.0-rc.1.linux-amd64

#启动 node_exporter 服务
./node_exporter --web.listen-address=":9100" \
    --log.level="info"

在 node1 启动 pushgateway:

$cd pushgateway-0.3.1.linux-amd64

#启动 pushgateway 服务
./pushgateway \
    --log.level="info" \
    --web.listen-address=":9091"

在 node1 启动 Prometheus:

$cd prometheus-1.5.2.linux-amd64

# 修改配置文件

vi prometheus.yml

...
global:
  scrape_interval:     15s # By default, scrape targets every 15 seconds.
  evaluation_interval: 15s # By default, scrape targets every 15 seconds.
  # scrape_timeout is set to the global default (10s).
  labels:
    cluster: 'test-cluster'
    monitor: "prometheus"

scrape_configs:
  - job_name: 'overwritten-cluster'
    scrape_interval: 3s
    honor_labels: true # don't overwrite job & instance labels
    static_configs:
      - targets: ['192.168.199.113:9091']

  - job_name: "overwritten-nodes"
    honor_labels: true # don't overwrite job & instance labels
    static_configs:
    - targets:
      - '192.168.199.113:9100'
      - '192.168.199.114:9100'
      - '192.168.199.115:9100'
      - '192.168.199.116:9100'
...

# 启动 Prometheus:
./prometheus \
    --config.file="/data1/tidb/deploy/conf/prometheus.yml" \
    --web.listen-address=":9090" \
    --web.external-url="http://192.168.199.113:9090/" \
    --log.level="info" \
    --storage.local.path="/data1/tidb/deploy/data.metrics" \
    --storage.local.retention="360h0m0s"

在 node1 启动 Grafana:

cd grafana-4.1.2-1486989747.linux-x64

#编辑配置文件

vi grafana.ini

...

# The http port  to use
http_port = 3000

# The public facing domain name used to access grafana from a browser
domain = 192.168.199.113

...

#启动 Grafana 服务
./grafana-server \
    --homepath="/data1/tidb/deploy/opt/grafana" \
    --config="/data1/tidb/deploy/opt/grafana/conf/grafana.ini"

转载于:https://my.oschina.net/zhenruyan/blog/3097280

chougu3652
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TiDB简单集群安装
12-25
简单的TiDB集群安装文档。采用virtual box + debain，4节点
tidb部署.docx
04-24
TiUP 是 TiDB 4.0 版本引入的集群运维工具，TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB ...
使用 DM binary 部署 DM 集群
weixin_42241611的博客
09-06 120
本文将介绍如何使用 DM binary 快速部署 DM 集群。注意对于生产环境，推荐。
二进制部署的方式及其相关技术
aguyuc1的博客
10-16 264
通过综合使用混淆、加密、代码签名等多种技术，结合自动化部署工具，我们可以大大提高二进制部署的安全性和可靠性，同时优化部署过程，提高部署效率。在未来，我们还需要不断探索和研究更加高效和安全的二进制部署技术和方法，以应对日益复杂的安全威胁和挑战。同时，自动化部署工具的使用也可以优化部署过程，提高部署效率。在未来，我们可以进一步研究更加高效和安全的二进制部署技术和方法，以应对日益复杂的安全威胁和挑战。同时，我们还需要不断关注安全技术的最新发展，及时更新和升级我们的部署方案，以应对不断变化的威胁和挑战。
TiDB实战篇-BR进行数据备份与恢复
S1124654的博客
04-16 1169
TiDB实战篇-BR进行数据备份与恢复
国产数据库备份恢复(TiDB\达梦\OceanBase\openGauss\GaussDB\GBASE)——筑梦之路
筑梦之路
10-16 2482
gs_basebackup的实现目标是对服务器数据库文件的二进制进行拷贝，其实现原理使用了复制协议。物理备份就是把这些数据文件中的有效数据页备份起来，在出现故障时，用于恢复数据。DM的物理备份一般包括数据备份和日志备份两部分，数据备份是拷贝数据页内容，日志备份则是拷贝备份过程中产生的REDO日志。在一次备份或恢复中，各个 TiKV 节点都会有一个对应的备份路径，TiKV 备份时产生的备份文件将会保存在该路径下，恢复时也会从该路径读取相应的备份文件。TiKV 收到命令后执行相应的备份或恢复操作。
tidb备份与恢复
weixin_40449404的博客
07-17 1256
tidb备份与恢复备份恢复 备份 备份，报没有权限。用root执行也是报错。用户tidb用户执行。 BR 遇到 Permission denied 错误，即使用 root 运行 BR 也无法解决，该如何处理？ 需要确认 TiKV 是否有访问备份目录的权限。如果是备份，确认是否有写权限；如果是恢复，确认是否有读权限。 使用 root 运行 BR 仍旧有可能会因为磁盘权限而失败，因为备份文件 (SST) 的保存是由 TiKV 执行的。 ./br backup full --log-file=/tmp/tidb
Tidb备份数据库——恢复到不同的库脚本（批量替换文件名及内容名）
jiangbenchu的博客
11-08 1150
修改库名的脚本 ./mydumper -h 192.168.180.3 -u root -p q1w2 -P 4000 -t 16 -F 64 -B dev2_kelun --skip-tz-utc -o ./leo bat_rename.sh #!/bin/sh # 使用方法 ./bat_rename.sh 路径 原文件名 新文件名 # 批量修改文件名 dir=$1 for file_path...
TiDB数据库--部署单机集群
07-01
由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL (SQL 、 NoSQL ...
PCTA认证--TiDB 备份恢复
02-08
TiDB PCTA认证之备份恢复总结
网站、文件同步备份工具，支持多种方式
02-19
syncovery pro，原名为SuperFlexibleSynchronizer，是一款功能强大的同步备份工具，支持实时备份，对HTTP、FTP、多种网盘、WEBDAV等多中介质都能进行备份。软件界面美观且操作灵活，用户可以按自己的需要设置多个任务，手动运行或使用调度器。它可以帮助你实时备份您的数据和同步个人电脑，Mac电脑，服务器，笔记本电脑和在线存储空间。备份完成后您可以使用ZIP压缩和数据加密，从而保护你数据的安全以及完整。它的丰富的功能满足用户的所有要求，是一款相当值得推荐的备份工具。
TiDB在Kubernetes平台自动化部署运维实践v1.pptx
10-12
TiDB在Kubernetes平台自动化部署运维实践v1.pptx
TiDB：支持MySQL协议的分布式数据库解决方案
02-26
【编者按】TiDB是国内PingCAP团队开发的一个分布式SQL数据库。其灵感来自于Google的F1，TiDB支持包括传统RDBMS和NoSQL的特性。在国内ITOM管理平台OneAPM举办的技术公开课中，TiDB的高级工程师刘奇从HBase特性、TiDB...
Git & TortoiseGit 详细安装使用教程
m0_37383484的博客
04-20 1046
Git 工具详细安装教程，TortoiseGit 工具详细安装使用教程。
【kettle001】访问国产达梦数据库并处理数据至execl文件
最新发布
kngines
04-22 380
一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。熟悉、梳理、总结下达梦（DM）关系型数据库相关知识体系。
Linux配置腾讯云yum源（保姆级教学）
m0_67457606的博客
04-21 331
这里以 CentOS 7 为例，如果是其他版本的系统，可以将上述命令中的 `centos7` 替换为相应的版本号。
远程服务连接
aihua002的博客
04-19 370
root@client 桌面]# ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]。[root@client 桌面]# ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]。[root@client 桌面]# ssh-keygen -f /root/.ssh/id_rsa -P ""[root@server 桌面]# vim /etc/ssh/sshd_config。
如何解决Nginx的“413 Request Entity Too Large”错误
一勺菠萝丶的博客
04-18 470
当你尝试上传一个大文件到你的服务器时，你可能会遇到一个Nginx错误，提示“413 Request Entity Too Large”。这意味着客户端请求的数据量大于服务器愿意或能够处理的量。幸运的是，有一个简单的解决方案来处理这个问题。
HackMyVM-BaseME
分享
04-18 236
HackMyVM-BaseME。。。。ez~
TiDB集群环境部署
08-23
TiDB集群环境的部署可以通过使用TiUP来完成。TiUP是TiDB 4.0版本引入的集群运维工具，它提供了集群管理组件TiUP cluster，可以用于管理TiDB集群的部署、启动、关闭、销毁、弹性扩缩容、升级等工作。通过执行TiUP命令，可以输出当前通过TiUP cluster管理的所有集群信息，包括集群名称、部署用户、版本、密钥信息等。 具体的部署步骤如下： 1. 安装TiUP组件：执行TiUP命令进行组件安装。 2. 创建集群配置文件：使用TiUP cluster命令创建一个新的集群配置文件。 3. 配置集群参数：根据需求修改集群配置文件中的参数，例如副本数、节点数量等。 4. 部署TiDB集群：执行TiUP cluster命令进行集群的部署。 5. 检查部署情况：执行TiUP cluster命令检查部署的TiDB集群情况。 通过以上步骤，可以完成TiDB集群环境的部署和配置。使用TiUP作为集群管理工具，可以方便地进行TiDB生态下各个组件的管理和运维工作，极大地降低了管理难度。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [使用 TiUP 部署 TiDB 集群](https://blog.csdn.net/weixin_42241611/article/details/125518329)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [TIDB集群部署](https://blog.csdn.net/qq_21040559/article/details/127716535)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值