MySQL NDB Cluster 分布式架构搭建 自定义启动、重启和关闭集群Shell脚本

已于 2024-03-05 05:04:31 修改
阅读量743 收藏 9
点赞数 9
分类专栏： MySQL Linux 文章标签： mysql 数据库
于 2024-03-02 07:26:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/136409455
版权
Linux 同时被 2 个专栏收录
28 篇文章 4 订阅
订阅专栏
MySQL
11 篇文章 0 订阅
订阅专栏

此次NDB Cluster使用三台虚拟机进行搭建，一台作为管理节点；而对于另外两台服务器，每一台都充当着数据节点和SQL节点的角色。注意不是MGR主从复制架构，而是分布式MySQL架构。

创建 /var/lib/mysql-cluster/config.ini Cluster全局配置文件

[NDBD DEFAULT]
NoOfReplicas =2
DataMemory = 512M
MaxNoOfExecutionThreads = 4
[NDB_MGMD]
NodeId=1
hostname =192.168.182.102
datadir =/var/lib/mysql-cluster
[NDBD]
NodeId =2
hostname =192.168.182.103
datadir =/usr/local/mysql-cluster/data
[NDBD]
NodeId =3
hostname =192.168.182.104
datadir =/usr/local/mysql-cluster/data
[mysqld]
NodeId =4
hostname =192.168.182.103
[mysqld]
NodeId =5
hostname =192.168.182.104

在管理节点中执行以下命令，初始化管理节点（注意mysql cluster路径是固定的，否则会报错）

/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial --ndb-nodeid=1

创建 /etc/my.cnf mysql配置文件

[mysqld]
basedir=/usr/local/mysql-cluster
datadir=/usr/local/mysql-cluster/data
socket=/usr/local/mysql-cluster/sock/mysql.sock
user=hadoop
symbolic-links=0
ndbcluster
ndb-connectstring=192.168.182.102
port=3306

[mysql_cluster]
ndb-connectstring=192.168.182.102

[ndbd]
ndb-connectstring=192.168.182.102

[mysqld_safe]
log-error=/usr/local/mysql-cluster/logs/mysql.pid
pid-file=/usr/local/mysql-cluster/logs/error.log

[mysql]
socket=/usr/local/mysql-cluster/sock/mysql.sock
#
## include all files from the config directory
##
#!includedir /etc/my.cnf.d

 在初始化mysqld之前，需要将data、logs、sock文件夹创建完毕，否则无法初始化

[hadoop@hadoop103 mysql-cluster]$ pwd
/usr/local/mysql-cluster
[hadoop@hadoop103 mysql-cluster]$ ls
bin  docs  include  lib  LICENSE  man  README  share  support-files
[hadoop@hadoop103 mysql-cluster]$ mkdir data
[hadoop@hadoop103 mysql-cluster]$ mkdir sock
[hadoop@hadoop103 mysql-cluster]$ mkdir logs

 初始化mysqld，同时没有对root账号设置密码

[hadoop@hadoop103 mysql-cluster]$ bin/mysqld --initialize-insecure --user=hadoop
2024-03-01T22:50:53.201408Z 0 [Warning] [MY-010139] [Server] Changed limits: max_open_files: 1024 (requested 8161)
2024-03-01T22:50:53.201412Z 0 [Warning] [MY-010142] [Server] Changed limits: table_open_cache: 431 (requested 4000)
2024-03-01T22:50:53.202613Z 0 [Warning] [MY-011070] [Server] 'Disabling symbolic links using --skip-symbolic-links (or equivalent) is the default. Consider not using this option as it' is deprecated and will be removed in a future release.
2024-03-01T22:50:53.202952Z 0 [System] [MY-013169] [Server] /usr/local/mysql-cluster/bin/mysqld (mysqld 8.0.36-cluster) initializing of server in progress as process 2947
2024-03-01T22:50:53.211541Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2024-03-01T22:50:53.873353Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended.
2024-03-01T22:50:54.189948Z 0 [System] [MY-010865] [NDB] '--initialize' -> ndbcluster plugin disabled
2024-03-01T22:50:55.344321Z 6 [Warning] [MY-010453] [Server] root@localhost is created with an empty password ! Please consider switching off the --initialize-insecure option.
[hadoop@hadoop103 mysql-cluster]$ sudo cp support-files/mysql.server /etc/init.d/mysqld
[hadoop@hadoop103 mysql-cluster]$ sudo chmod +x /etc/init.d/mysqld

再初始化初始化数据节点，注意此时初始化完毕会自动连接到管理节点

[hadoop@hadoop103 mysql-cluster]$ bin/ndbd --initial
2024-03-02 06:51:57 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 06:51:57 [ndbd] INFO     -- Angel allocated nodeid: 2

 集群目前连接情况

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, starting, Nodegroup: 0)
id=3 (not connected, accepting connect from 192.168.182.104)

[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)

[mysqld(API)]	2 node(s)
id=4 (not connected, accepting connect from 192.168.182.103)
id=5 (not connected, accepting connect from 192.168.182.104)

注意SQL节点需要在数据节点全部启动后，才能开始启动，所以别着急启动mysqld

同时为了防止在之后停止mysqld的时候，出现rm: cannot remove '/var/lock/subsys/mysql': Permission denied报错，导致后续无法启动mysqld，需要修改该文件夹的权限

sudo chown -R hadoop:hadoop /var/lock/subsys

第三台服务器操作同第二台操作一致。在第三台服务器完成数据节点初始化之后，便可以启动两个SQL节点。整个集群启动成功后的连接情况如下

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0, *)
id=3	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0)

[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)

[mysqld(API)]	2 node(s)
id=4	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36)
id=5	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36)

为了测试集群是否能够正常存储数据，需要在SQL节点中设置MySQL远程连接配置。在这里我创建了一个名为hadoop的用户，并赋予全部操作权限

[hadoop@hadoop103 mysql-cluster]$ bin/mysql -uroot

mysql> CREATE USER 'hadoop'@'%' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.03 sec)

mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.11 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

 在Navicat中测试连接情况

以下是自定义的集群启动Shell脚本 

#!/bin/bash

/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1

ssh hadoop103 /usr/local/mysql-cluster/bin/ndbd
ssh hadoop104 /usr/local/mysql-cluster/bin/ndbd

PASSWORD=123456
echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld start'
echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld start'

以下是自定义的关闭集群Shell脚本

#!/bin/bash

# 定义要查找的端口号
PORT=1186

PASSWORD=123456
# 使用 lsof 命令查找占用指定端口的进程，并提取进程 ID
PID=$(echo $PASSWORD | sudo -S lsof -t -i:$PORT)

# 检查是否找到了进程 ID
if [ -z "$PID" ]; then
    echo "未找到占用端口 $PORT 的进程"
else
    # 使用 kill 命令终止进程
    /usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdown
    echo $PASSWORD | sudo -S kill -9 $PID
    echo "已终止进程 $PID"
fi


# 使用 lsof 命令查找占用指定端口的进程，并提取进程 ID
PID=$(echo $PASSWORD | sudo lsof -t -i:$PORT)

# 检查是否找到了进程 ID
if [ -z "$PID" ]; then
    echo "未找到占用端口 $PORT 的进程, the cluster will start"

    echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld stop'
    echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld stop'
else
    # 使用 kill 命令终止进程
    echo $PASSWORD | sudo -S kill -9 $PID
    echo "已终止进程 $PID"
fi

以下是自定义的集群重启Shell脚本（前提是hadoop102的root用户已经将ssh密钥分配给hadoop103和hadoop104的root用户，否则还需要输入密码；本机sudo不需要输入密码的前提是/etc/sudoers配置了该用户）

#!/bin/bash

# 定义要查找的端口号
PORT=1186

PASSWORD=123456
# 使用 lsof 命令查找占用指定端口的进程，并提取进程 ID
PID=$(echo $PASSWORD | sudo -S lsof -t -i:$PORT)

# 检查是否找到了进程 ID
if [ -z "$PID" ]; then
    echo "未找到占用端口 $PORT 的进程"
else
    # 使用 kill 命令终止进程
    /usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdown
    echo $PASSWORD | sudo -S kill -9 $PID
    echo "已终止进程 $PID"
fi


# 使用 lsof 命令查找占用指定端口的进程，并提取进程 ID
PID=$(echo $PASSWORD | sudo lsof -t -i:$PORT)

# 检查是否找到了进程 ID
if [ -z "$PID" ]; then
    echo "未找到占用端口 $PORT 的进程, the cluster will start"

    /usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1

    ssh hadoop103 /usr/local/mysql-cluster/bin/ndbd
    ssh hadoop104 /usr/local/mysql-cluster/bin/ndbd

    echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld restart'
    echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld restart'
else
    # 使用 kill 命令终止进程
    echo $PASSWORD | sudo -S kill -9 $PID
    echo "已终止进程 $PID"
fi

以下是集群重启的日志与结果

[hadoop@hadoop102 mysql-cluster]$ ./restart.sh 
Connected to Management Server at: localhost:1186
3 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
已终止进程 3123
未找到占用端口 1186 的进程, the cluster will start
MySQL Cluster Management Server mysql-8.0.36 ndb-8.0.36
2024-03-02 07:20:42 [MgmtSrvr] INFO     -- Skipping check of config directory since config cache is disabled.
2024-03-02 07:20:42 [MgmtSrvr] WARNING  -- at line 4: [DB] IndexMemory is deprecated, will use Number bytes on each ndbd(DB) node allocated for storing indexes instead
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 2
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 3
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL... SUCCESS! 
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL..... SUCCESS!

参考链接

MySQL Cluster集群搭建-CSDN博客

AdamShyly
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MySQL集群之五大常见的MySQL高可用方案
loliDapao的博客
12-30 6481
1. 概述 我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面： 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。 当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺失或者数据不一致而影响业务。 关于对高可用的分级在这里我们不做详细的讨论，这里只讨论常用高可用方案的优缺点以及高可用方案的选型。 2. 高可用方案
MySQL有哪些集群架构 mysql常用的集群方案
很多时候犯错都是在不知情的情况下发生的
03-30 1003
MySQL的集群方案有多种，按照实现途径可以分为MySQL官方和第三方。1）官方实现方式包括：主从方式、一主多从方式、cluster集群方式等。2）第三方实现方式包括：MMM（双主多从）方式、MHA（多主多从）方式、Galera Cluster（多主结构）方式等。
MySQL集群最全详解(图文全面总结)
最新发布
zznn0306的博客
05-28 2170
主从复制是 MySQL 中最常用的集群模式之一，一个主服务器（Master）负责所有的写操作，并将这些更改，异步复制到一个或多个从服务器（Slave）上。在实际应用中，为了进一步提高数据库的性能和扩展性，可以采用读写分离、和分片法（分库分表）相结合的方式构建 MySQL 集群。MyCAT 是一个开源的数据库中间件，MyCAT 通过配置规则将， SQL 请求路由到相应的数据库、或表。从服务器上的读取和应用：从服务器读取主服务器上的二进制日志，并在从服务器上重放这些日志。
mysql 分布式数据库 NDB集群概述
nmmbwan的博客
11-26 2307
mysql 分布式数据库介绍 NDB Cluster 介绍 管理节点、数据节点、sql节点
NDB Cluster 基本介绍
雪辉博客
07-18 3863
文章目录一、NDB集群概述二、NDB核心概念三、NDB Cluster节点，节点组，副本和分区 一、NDB集群概述   NDB集群是一种在无共享系统中实现内存数据库集群的技术。无共享体系结构使系统能够使用非常便宜的硬件，并且对硬件或软件的特定要求最低。   NDB集群设计为没有任何单点故障。在无共享系统中，每个组件都应该有自己的内存和磁盘，不建议或不支持使用共享存储机制，如网络共享、网络文件系统和SAN。   NDB Cluster将MySQL服务器与NDB的内存集群存储引擎集成在一起。NDB集群由一组主机
MySQL分布式集群搭建
m0_52789121的博客
08-23 2433
由于这类节点负责管理其他节点的配置，应该在启动其他节点之前启动这类节点。2 然后关闭SQL节点，在SQL节点上执行命令/usr/local/mysql/support-fies/mysql.server stop(其中/usr/local/mysql/是mysql的安装目录).从而关闭SQL节点；1 在管理节点上，切换到/usr/local/mysql/bin目录下，执行ndb_mgmd -f /var/lib/mysql-cluster/config.ini命令，完成管理节点的启动；
高级DBA带你从0到1搭建Mysql NDB Cluster 分布式集群搭建实战全网最详细
nasen512的博客
03-28 2730
NDB集群是一种在无共享系统中实现内存数据库集群的技术。无共享体系结构使系统能够使用非常便宜的硬件，并且对硬件或软件的特定要求最低。NDB集群设计为没有任何单点故障。在无共享系统中，每个组件都应该有自己的内存和磁盘，不建议或不支持使用共享存储机制，如网络共享、网络文件系统和SAN。NDB Cluster将MySQL服务器与NDB的内存集群存储引擎集成在一起。NDB集群由一组主机组成，每个主机运行一个或多个进程。
MySQL分布式集群
热门推荐
weixin_40581617的博客
07-02 1万+
一、什么是MySQL集群MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案，其目的是提供容错性和高性能。数据更新使用读已提交隔离级别（read-committedisolation)来保证所有节点数据的一致性，使用两阶段提交机制（two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败，则更新失败）。无共享的对等节点使得某台服务器上的...
mysql NDBcluster高可用集群介绍及部署搭建说明
05-27
本资源提供了一份详细的MySQL NDB Cluster高可用集群的介绍及部署搭建说明。NDB Cluster是MySQL数据库管理系统的一个特殊版本，它提供了集群级别的数据同步和自动故障转移，确保数据的高可用性和持久性。 内容亮点...
MySQL Cluster集群搭建详解
05-29
用于新手搭建学习，高手飘过。搭建过程中，注意各系统的环境不一致，可能会出现其他错误
MySQL 8.0参考手册 Including MySQL NDB Cluster 8.0
03-27
MySQL NDB Cluster 8.0 是 MySQL 8.0 的一个集群版本，提供了高可用性和高性能的数据库解决方案，适用于高可用性和高性能的应用程序和业务系统。 本手册涵盖了 MySQL 8.0 的所有方面，包括安装、配置、管理、性能...
搭建mysql-cluster集群.docx
07-14
搭建MySQL Cluster集群 MySQL Cluster是适用于分布式计算环境的高可用、高冗余版本的MySQL，其技术在分布式系统中为MySQL数据提供了冗余特性，增强了安全性，使得单个MySQL服务器故障不会对系统产生巨大的负面效应...
MySQL NDB Cluster安装
03-21
在开始安装 MySQL NDB Cluster 之前，需要了解 MySQL NDB Cluster 的基本概念和架构。MySQL NDB Cluster 由三个组件组成：SQL 节点、数据节点和管理节点。SQL 节点负责处理客户端的数据库请求，数据节点负责存储和...
mysql ndbcluster 缺点_MySQL集群 -- NDB Cluster
weixin_30350163的博客
02-07 732
MySQL集群 --NDB ClusterMySQL集群的表使用的引擎是ndbcluster，简称ndb。它的意思是: "网络数据库".NDB(也叫NDB Cluster或者NDBCLUSTER),使用它才能让MySQL支持集群。要想获得MySQL Cluster 的功能，必须安装 mysql-server 和 mysql-max RPM内存数据库由多个节点组成，每个节点有对应的内存和磁盘，没有单...
MySql高可用集群之MGR（MySQL Group Replication）
weixin_44112884的博客
04-11 827
--- MGR （MySQL Group Replication）是MySQL自带的一个插件，可以灵活部署。MySQL MGR集群是多个MySQL Server节点共同组成的分布式集群，每个Server都有完整的副本，它是基于ROW格式的二进制日志文件和GTID特性。架构主要是APIs层、组件层、复制协议模块层和GCS API+Paxos引擎层构成。
mysql的分布式集群
Lue的博客
08-19 210
一、实验环境 server_lue2:172.25.6.4 server_lue3:172.25.6.5 做第一个节点操作 server_lue4:172.25.6.6 首先，三台主机实验环境清空，重新初始化， /etc/init.d/mysqld stop cd /data/mysql rm -rf * 没有编译mysql的主机通过lue3主机远程传输/usr/local/mysql然后参考之前博客mysql数据库安装 二、lue3做第一个节点 修改配置文件 1.初始.
glaera mysql 集群如何重启
weixin_35756373的博客
01-19 382
在 Galera MySQL 集群中重启服务可以通过下面几种方法来完成： 通过命令行重启：在每一台服务器上执行 "service mysql restart" 或 "systemctl restart mysql" 命令来重启服务。 通过数据库管理工具重启：使用类似于 phpMyAdmin 这样的工具来重启服务。 通过高可用性管理工具重启：如果你使用了高可用性管理工具，可以在其中重启服务。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值