猿创征文｜TiDB 开源分布式关系型数据库介绍及部署

最新推荐文章于 2024-03-31 17:01:15 发布
最新推荐文章于 2024-03-31 17:01:15 发布
阅读量1.5k 收藏 3
点赞数 2
分类专栏： 工具使用 文章标签： 数据库 分布式 tidb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaya_jn/article/details/127163804
版权

TiDB 开源分布式关系型数据库介绍

TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。

TiDB 核心特性

一键水平扩容或者缩容

得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。

金融级高可用

数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等策略满足不同容灾级别的要求。

实时 HTAP

提供行存储引擎 TiKV、列存储引擎 TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的机器，解决 HTAP 资源隔离的问题。

云原生的分布式数据库

为云设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自动化，依托公有云提供开箱即用的 TiDB Cloud 服务（DBaaS）。

兼容 MySQL 5.7 协议和 MySQL 生态

兼容 MySQL 5.7 协议、MySQL 常用的功能、MySQL 生态，应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。

产品优势

与传统的单机数据库相比，TiDB 具有以下优势：

  • 纯分布式架构，拥有良好的扩展性，支持弹性的扩缩容；
  • 支持 SQL，对外暴露 MySQL 的网络协议，并兼容大多数 MySQL 的语法，在大多数场景下可以直接替换 MySQL；
  • 默认支持高可用，在少数副本失效的情况下，数据库本身能够自动进行数据修复和故障转移，对业务透明；
  • 支持 ACID 事务，对于一些有强一致需求的场景友好，例如：银行转账；
  • 具有丰富的工具链生态，覆盖数据迁移、同步、备份等多种场景。

TiDB 应用场景

对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景：金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点：资源利用率低、维护成本高、RTO (Recovery Time Objective) 及 RPO (Recovery Point Objective) 无法真实达到企业所期望的值。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器，当部分机器出现故障时系统可自动进行切换，确保系统的 RTO <= 30s 及 RPO = 0。
对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景：随着业务的高速发展，数据呈现爆炸性的增长，传统的单机数据库无法满足因数据爆炸性的增长对数据库的容量要求，可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设备等，其中性价比最大的是 NewSQL 数据库，例如：TiDB。TiDB 采用计算、存储分离的架构，可对计算、存储分别进行扩容和缩容，计算最大支持 512 节点，每个节点最大支持 1000 并发，集群容量最大支持 PB 级别。
Real-time HTAP 场景：随着 5G、物联网、人工智能的高速发展，企业所生产的数据会越来越多，其规模可能达到数百 TB 甚至 PB 级别，传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务，通过 ETL 工具将数据同步到 OLAP 型数据库进行数据分析，这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB 在 4.0 版本中引入列存储引擎 TiFlash 结合行存储引擎 TiKV 构建真正的 HTAP 数据库，在增加少量存储成本的情况下，可以同一个系统中做联机交易处理、实时数据分析，极大地节省企业的成本。
数据汇聚、二次加工处理的场景：当前绝大部分企业的业务数据都分散在不同的系统中，没有一个统一的汇总，随着业务的发展，企业的决策层需要了解整个公司的业务状况以便及时做出决策，故需要将分散在各个系统的数据汇聚在同一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成，但 Hadoop 体系太复杂，运维、存储成本太高无法满足用户的需求。与 Hadoop 相比，TiDB 就简单得多，业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB，在 TiDB 中可通过 SQL 直接生成报表。

关于 PingCAP

PingCAP 成立于 2015 年，是一家企业级开源分布式数据库厂商，提供包括开源分布式数据库产品、解决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可靠、开放兼容的新型数据服务平台，解放企业生产力，加速企业数字化转型升级。
TiDB 作为通用分布式数据库，已被全球超过 1500 家企业用于线上生产环境，包括中国银行、光大银行、浦发银行、浙商银行、北京银行、微众银行、亿联银行、百信银行、中国银联、中国人寿、平安人寿、平安财险、国泰君安、华泰证券、陆金所、马上消费、拉卡拉、中国移动、中国联通、中国电信、新华财经、人民在线、吉林祥云、中体骏彩、国家电网、新奥燃气、北大人民医院、北京友谊医院、格力电器、理想汽车、小鹏汽车、VIVO、OPPO、麦当劳、百胜中国、中国邮政、顺丰速运、中通快递、腾讯、美团、京东、拼多多、小米、新浪微博、58同城、360、知乎、爱奇艺、哔哩哔哩、喜马拉雅、新东方、伴鱼、小红书、汽车之家、网易游戏、盖娅互娱、游族网络、Square（美国）、PayPay（日本）、Dailymotion（法国）、Shopee（新加坡）、ZaloPay（越南）、BookMyShow（印度）等，涉及金融、电信、政府、能源、公共事业、高端制造、高科技、新零售、物流、互联网、游戏等多个行业。

官网：https://pingcap.com
GitHub：PingCAP · GitHub
社区版下载：TiDB 社区版 | PingCAP

 

部署本地测试集群

  • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 TiDB 测试集群，体验 TiDB 集群的基本架构，以及 TiDB、TiKV、PD、监控等基础组件的运行。

1、macOS

TiDB 是一个分布式系统。最基础的 TiDB 测试集群通常由 2 个 TiDB 实例、3 个 TiKV 实例、3 个 PD 实例和可选的 TiFlash 实例构成。通过 TiUP Playground，可以快速搭建出上述的一套基础测试集群，步骤如下：

1、下载并安装 TiUP。

curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

安装完成后会提示如下信息：

Successfully set mirror to https://tiup-mirrors.pingcap.com
Detected shell: zsh
Shell profile:  /Users/user/.zshrc
/Users/user/.zshrc has been modified to add tiup to PATH
open a new terminal or source /Users/user/.zshrc to use it
Installed path: /Users/user/.tiup/bin/tiup
===============================================
Have a try:     tiup playground
===============================================

2、声明全局环境变量。

source ${your_shell_profile}

3、在当前 session 执行以下命令启动集群。

直接执行 tiup playground 命令会运行最新版本的 TiDB 集群，其中 TiDB、TiKV、PD 和 TiFlash 实例各 1 个：

tiup playground

也可以指定 TiDB 版本以及各组件实例个数，命令类似于

tiup playground v6.1.0 --db 2 --pd 3 --kv 3

上述命令会在本地下载并启动某个版本的集群（例如 v6.1.0）。最新版本可以通过执行 tiup list tidb 来查看。运行结果将显示集群的访问方式：

CLUSTER START SUCCESSFULLY, Enjoy it ^-^
To connect TiDB: mysql --comments --host 127.0.0.1 --port 4001 -u root -p (no password)
To connect TiDB: mysql --comments --host 127.0.0.1 --port 4000 -u root -p (no password)
To view the dashboard: http://127.0.0.1:2379/dashboard
PD client endpoints: [127.0.0.1:2379 127.0.0.1:2382 127.0.0.1:2384]
To view the Prometheus: http://127.0.0.1:9090
To view the Grafana: http://127.0.0.1:3000

4、新开启一个 session 以访问 TiDB 数据库。

使用 TiUP client 连接 TiDB：

tiup client

也可使用 MySQL 客户端连接 TiDB：

mysql --host 127.0.0.1 --port 4000 -u root

5、通过 http://127.0.0.1:9090 访问 TiDB 的 Prometheus 管理界面。

6、通过 http://127.0.0.1:2379/dashboard 访问 TiDB Dashboard 页面，默认用户名为 root，密码为空。

7、通过 http://127.0.0.1:3000 访问 TiDB 的 Grafana 界面，默认用户名和密码都为 admin。

8、（可选）将数据加载到 TiFlash 进行分析。

9、测试完成之后，可以通过执行以下步骤来清理集群：

  1. 按下 Control+C 键停掉上述启用的 TiDB 服务。

  2. 等待服务退出操作完成后，执行以下命令：

tiup clean --all

在单机上模拟部署生产环境集群

  • 适用场景：希望用单台 Linux 服务器，体验 TiDB 最小的完整拓扑的集群，并模拟生产环境下的部署步骤。

本节介绍如何参照 TiUP 最小拓扑的一个 YAML 文件部署 TiDB 集群。

准备环境

准备一台部署主机，确保其软件满足需求：

  • 推荐安装 CentOS 7.3 及以上版本
  • 运行环境可以支持互联网访问，用于下载 TiDB 及相关软件安装包

最小规模的 TiDB 集群拓扑：

实例个数IP配置
TiKV310.0.1.1 
10.0.1.1 
10.0.1.1		避免端口和目录冲突
TiDB110.0.1.1默认端口 
全局目录配置
PD110.0.1.1默认端口 
全局目录配置
TiFlash110.0.1.1默认端口 
全局目录配置
Monitor110.0.1.1默认端口 
全局目录配置

部署主机软件和环境要求：

  • 部署需要使用部署主机的 root 用户及密码
  • 部署主机关闭防火墙或者开放 TiDB 集群的节点间所需端口
  • 目前 TiUP Cluster 支持在 x86_64（AMD64）和 ARM 架构上部署 TiDB 集群
    • 在 AMD64 架构下，建议使用 CentOS 7.3 及以上版本 Linux 操作系统
    • 在 ARM 架构下，建议使用 CentOS 7.6 1810 版本 Linux 操作系统

实施部署

  1. 下载并安装 TiUP：

    curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

  2. 声明全局环境变量：

    注意

    TiUP 安装完成后会提示对应 Shell profile 文件的绝对路径。在执行以下 source 命令前，需要将 ${your_shell_profile} 修改为 Shell profile 文件的实际位置。

    source ${your_shell_profile}

  3. 安装 TiUP 的 cluster 组件：

    tiup cluster

  4. 如果机器已经安装 TiUP cluster，需要更新软件版本：

    tiup update --self && tiup update cluster

  5. 由于模拟多机部署，需要通过 root 用户调大 sshd 服务的连接数限制：

    1. 修改 /etc/ssh/sshd_config 将 MaxSessions 调至 20。

    2. 重启 sshd 服务：

      service sshd restart

  6. 创建并启动集群

    按下面的配置模板，编辑配置文件，命名为 topo.yaml，其中：

    • user: "tidb"：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端口通过 ssh 登录目标机器
    • replication.enable-placement-rules：设置这个 PD 参数来确保 TiFlash 正常运行
    • host：设置为本部署主机的 IP

    配置模板如下：

# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
 user: "tidb"
 ssh_port: 22
 deploy_dir: "/tidb-deploy"
 data_dir: "/tidb-data"

# # Monitored variables are applied to all the machines.
monitored:
 node_exporter_port: 9100
 blackbox_exporter_port: 9115

server_configs:
 tidb:
   log.slow-threshold: 300
 tikv:
   readpool.storage.use-unified-pool: false
   readpool.coprocessor.use-unified-pool: true
 pd:
   replication.enable-placement-rules: true
   replication.location-labels: ["host"]
 tiflash:
   logger.level: "info"

pd_servers:
 - host: 10.0.1.1

tidb_servers:
 - host: 10.0.1.1

tikv_servers:
 - host: 10.0.1.1
   port: 20160
   status_port: 20180
   config:
     server.labels: { host: "logic-host-1" }

 - host: 10.0.1.1
   port: 20161
   status_port: 20181
   config:
     server.labels: { host: "logic-host-2" }

 - host: 10.0.1.1
   port: 20162
   status_port: 20182
   config:
     server.labels: { host: "logic-host-3" }

tiflash_servers:
 - host: 10.0.1.1

monitoring_servers:
 - host: 10.0.1.1

grafana_servers:
 - host: 10.0.1.1

7、执行集群部署命令：

tiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p

  • 参数 <cluster-name> 表示设置集群名称

  • 参数 <tidb-version> 表示设置集群版本，可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本

  • 参数 -p 表示在连接目标机器时使用密码登录

按照引导，输入”y”及 root 密码，来完成部署：

Do you want to continue? [y/N]:  y
Input SSH password:

8、启动集群：

tiup cluster start <cluster-name>

9、访问集群：

安装 MySQL 客户端。如果已安装 MySQL 客户端则可跳过这一步骤。

yum -y install mysql

访问 TiDB 数据库，密码为空：

mysql -h 10.0.1.1 -P 4000 -u root

  • 访问 TiDB 的 Grafana 监控：

    通过 http://{grafana-ip}:3000 访问集群 Grafana 监控页面，默认用户名和密码均为 admin。

  • 访问 TiDB 的 Dashboard：

    通过 http://{pd-ip}:2379/dashboard 访问集群 TiDB Dashboard 监控页面，默认用户名为 root，密码为空。

  • 执行以下命令确认当前已经部署的集群列表：

  • tiup cluster list

  • 执行以下命令查看集群的拓扑结构和状态：

    tiup cluster display <cluster-name>

30岁老阿姨
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
开源分布式数据库 Apache Accumulo: Introduction to the Accumulo Storage
程序员光剑
10-10 733
Apache Accumulo是一个开源分布式数据库，主要用来存储结构化的数据，并提供高吞吐量、高可靠性的读写操作。它基于Google的BigTable的思想，但又比BigTable更进一步。其功能包括快速查询、高效写入、高容错、事务支持等，可以用作高性能、低延迟的数据分析处理。
分布式数据库TIDB技术架构讲解.pptx
06-14
此文档为个人学习总结的 分布式数据库TIDB 技术 及原理讲解，适合初学者及想学习原理的同学学习，也可以作为讲学课件。
TiDB：一个开源的分布式数据库解决方案
weixin_74050490的博客
11-05 278
例如，一家知名电商公司使用TiDB来处理大规模的交易数据，确保了网站在高并发访问时的性能和稳定性。在当今的数字化时代，数据已经成为企业的重要资产，而数据库则是管理这些数据的关键工具。然而，随着业务规模的扩大和数据量的增长，传统的关系型数据库往往无法满足一些企业的需求。无论你是一个需要处理大规模数据的企业，还是一个希望优化数据库性能和可用性的开发者，TiDB都值得你考虑和使用。高可用性：TiDB具有高可用性，可以在节点故障的情况下自动恢复数据，确保数据的完整性和一致性。首先，让我们来看看TiDB的特点。
15个nosql数据库
07-26 1052
1、MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色，根据官方提供的性能测试表明，大约每秒可以处理0.5万~1.5万次读写请求。Mon...
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
itxiaoshen博客
02-09 1942
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、创建Cube、Cube的构建，全面认识kylin预计算查询的性能。
PolarDB-X V2.3 集中式和分布式一体化开源发布
Aug_33的博客
11-06 71
2023年云栖大会，PolarDB-X 正式发布 2.3.0版本，重点推出PolarDB-X标准版（集中式形态），将PolarDB-X分布式中的DN节点提供单独服务，支持paxos协议的多副本模式、lizard分布式事务引擎，可以100%兼容MySQL。同时在性能场景上，采用生产级部署和参数(开启双1 + Paxos多副本强同步)，相比于开源MySQL 8.0.34，PolarDB-X在读写混合场景上有30~40%的性能提升，可以作为开源MySQL的最佳替代选择。
tidb：TiDB是与MySQL协议兼容的开源分布式HTAP数据库
02-03
TiDB（“ Ti”代表Titanium）是一个开源的NewSQL数据库，它支持混合事务处理和分析处理（HTAP）工作负载。 它与MySQL兼容，并具有水平可伸缩性，强一致性和高可用性。 水平可伸缩性 TiDB只需添加新节点即可扩展SQL...
TiDB 分布式SQL数据库 v4.0.9官方版
12-31
为您提供TiDB 分布式SQL数据库下载，TiDB是一个开源的分布式SQL数据库，支持混合事务和分析处理（HTAP）工作负载。它是目前开发最积极的开源NewSQL数据库，具有丰富的特性，包括横向扩展性、强一致性和高可用性。...
开源分布式数据库TiDB如何炼成.docx
10-24
- **定义**: TiDB是一款开源的分布式关系型数据库，旨在解决传统数据库在扩展性、可用性和维护性方面的问题。 - **特点**: - 支持混合事务处理（HTAP），即在同一系统中同时高效地支持在线事务处理(OLTP)和在线分析...
开源分布式数据库 TiDB
hellozhxy的博客
07-21 2821
如今硬件的性价比越来越高，网络传输速度越来越快，数据库分层的趋势逐渐显现，人们已经不再强求用一个解决方案来解决所有的存储问题，而是通过分层，让缓存与数据库负责各自擅长的业务场景。 TiDB 作为一款 HTAP 数据库，在高性能的实现 OLTP 特性基础之上，也同时提供基于实时交易数据的实时业务分析需求。 什么是 TiDB 数据库？ TiDB 是一个数据库。我们知道市面上有很多类似 MySQL、Oracle 的数据库。为什么还需要一个新的数据库？ 相信大家 90% 都使用过 MySQL。但是当 .
在单机上Centos7.8模拟TiDB生产环境部署
qq_42869878的博客
10-31 715
准备环境 准备一台部署主机，确保其软件满足需求： 关闭防火墙： systemctl stop firewalld systemctl disable firewalld 关闭selinux vi /etc/selinux/config SELINUX=disabled setenforce 0 推荐安装 CentOS 7.3 及以上版本 Linux 操作系统开放外网访问，用于下载 TiDB 及相关软件安装包 最小规模的 TiDB 集群拓扑： 实例 个数 I...
TiDB数据库从入门到精通系列之一：TiDB数据库的软硬件环境要求和系统配置检查
zhengzaifeidelushang的博客
08-15 958
TiDB数据库从入门到精通系列之一：TiDB数据库的软硬件环境要求和系统配置检查
PolarDB-X 开源 | 基于 Paxos 的 MySQL 三副本
阿里云云栖号
12-25 1542
PolarDB-X在架构上可以简单分为CN节点和DN节点。计算节点CN负责SQL的解析和执行，存储节点DN负责数据的分布式事务和高可用存储。本篇文章的后续部分，主要介绍如何从0到1快速体验：PolarDB-X的集中式形态（“基于Paxos的MySQL三副本”）。
一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL
热门推荐
dvlinker的技术专栏
10-08 4万+
一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL。
喜马拉雅 KV 存储演进之路
yyforever89的博客
05-22 178
XCache 已经在喜马拉雅线上大规模使用，实例数量 2500+，数据量 120TB+。
著名的分布式数据库
最新发布
华仔的博客
03-31 259
著名的分布式数据库
介绍两个分布式数据库开源系统
chenglinhust的专栏
01-21 5158
介绍两个分布式数据库开源系统       在分布式数据库方面，这里推荐两个国人开发的分布式数据库系统：TiDB(go语言开发)， 阿里的OceanBase。这两个系统都是开源的，可以好好学习。 https://github.com/pingcap/tidb       http://code.taobao.org/p/OceanBase/src/trunk/
探索NebulaGraph：一个开源分布式图数据库的技术解析
fudaihb的博客
02-28 1401
NebulaGraph是一款开源的分布式图数据库，专注于存储和处理大规模图数据。它的主要定位是为了解决图数据存储和分析的问题，能够处理节点和边数量巨大、结构复杂的图结构数据。NebulaGraph被设计用来应对各种领域的图数据挑战，包括社交网络分析、推荐系统、网络安全监测等。无论是从数据量还是计算复杂度上，NebulaGraph都能够应对各种挑战，为用户提供高效、可靠的图数据存储和分析解决方案。
"TiDB中文手册：开源分布式关系型数据库解决方案（2021）
PingCAP公司推出的《TiDB中文手册》（2021.04.14）介绍了TiDB，这是一款由PingCAP公司自主设计、研发的开源分布式关系型数据库。TiDB是一款融合型分布式数据库产品，同时支持在线事务处理和在线分析处理（HTAP），...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

30岁老阿姨

支持一下哦！！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值