mysqlcluster集群搭建

最新推荐文章于 2021-09-21 08:53:09 发布
最新推荐文章于 2021-09-21 08:53:09 发布
阅读量282 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/senvil/article/details/48894003
版权

集群安装

1.   MySQL集群简介 

1.1.  什么是MySQL集群 

MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案，其目的是提供容错性和高性能。  

数据更新使用读已提交隔离级别（read-committedisolation)来保证所有节点数据的一致性，使用两阶段提交机制（two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败，则更新失败）。 

 

无共享的对等节点使得某台服务器上的更新操作在其他服务器上立即可见。传播更新使用一种复杂的通信机制，这一机制专用来提供跨网络的高吞吐量。  

通过多个MySQL服务器分配负载，从而最大程序地达到高性能，通过在不同位置存储数据保证高可用性和冗余。 

1.2.   集群 MySQL中名称概念 

1) Sql 结点（SQL node—下图对应为 mysqld）：分布式数据库。包括自身数据和查询中心结点数据 

2) 数据结点（Data node – ndbd）：集群共享数据（内存中） 3) 管理服务器（Management Server – ndb_mgmd）：集群管理 SQL node,Data node  

详情见下图： 

2.  环境配置 

hosts：

192.168.56.201 manager

192.168.56.202 sql-datanode1

192.168.56.203 sql-datanode2

3.  安装前要

不管是Management Server，还是Data node、SQL node，都需要先安装MySQL集群版本，然后根据不用的配置来决定当前服务器有哪几个角色。 

4.  创建musql用户和组（n台）

安装之前准备好mysql用户和mysql用户组，相关命令： 

groupadd mysql

useradd mysql -g mysql

5.  关闭防火墙（n台）

chkconfig iptables off 

service iptables stop 

setenforce 0

6.   安装MySQL集群版本 

6.1.  主节点

6.1.1.  上传

su - root

cd /usr/local

rz –y

上传安装包

mysql-cluster-gpl-7.4.6-linux-glibc2.5-x86_64.tar.gz

6.1.2.  解压

tar –zxvf mysql-cluster-gpl-7.4.6-linux-glibc2.5-x86_64.tar.gz

6.1.3.  重命名

mv mysql-cluster-gpl-7.4.6-linux-glibc2.5-x86_64mysql

6.1.4.  授权

chown –R mysql:mysql mysql 

6.1.5.   下发

su - root

scp -r /usr/local/mysql root@slave2:/usr/local

scp -r /usr/local/mysql root@slave3:/usr/local

6.1.6.  安装

/usr/local/mysql/scripts/mysql_install_db --user=mysql--basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

6.1.7.  配置Management Server

mkdir /var/lib/mysql-cluster

vi /var/lib/mysql-cluster/config.ini

[ndbd default]

NoOfReplicas=2

定义在Cluster环境中相同数据的分数，通俗一点来说就是每一份数据存放NoOfReplicas份。如果希望能够冗余，那么至少设置为2（一般情况来说此参数值设置为2就够了），最大只能设置为4。另外，NoOfReplicas值得大小，实际上也就是node group大小的定义。NoOfReplicas参数没有系统默认值，所以必须设定，而且只能设置在[NDBD DEFAULT]中，因为此数值在整个Cluster集群中一个node group中所有的NDBD节点都需要一样。另外NoOfReplicas的数目对整个Cluster环境中NDB节点数量有较大的影响，因为NDB节点总数量是NoOfReplicas * 2 * node_group_num；

DataMemory=80M

设定用于存放数据和主键索引的内存段的大小。这个大小限制了能存放的数据的大小，因为ndb存储引擎需属于内存数据库引擎，需要将所有的数据（包括索引）都load到内存中。这个参数并不是一定需要设定的，但是默认值非常小（80M），只也就是说如果使用默认值，将只能存放很小的数据。参数设置需要带上单位，如512M，2G等。另外，DataMemory里面还会存放UNDO相关的信息，所以，事务的大小和事务并发量也决定了DataMemory的使用量，建议尽量使用小事务；

IndexMemory=18M

设定用于存放索引（非主键）数据的内存段大小。和DataMemory类似，这个参数值的大小同样也会限制该节点能存放的数据的大小，因为索引的大小是随着数据量增长而增长的。参数设置也如DataMemory一样需要单位。IndexMemory默认大小为18M；

实际上，一个NDB节点能存放的数据量是会受到DataMemory和IndexMemory两个参数设置的约束，两者任何一个达到限制数量后，都无法再增加能存储的数据量。如果继续存入数据系统会报错“table is full”。

[ndb_mgmd]

Id=1集群中结点的唯一标识，取值 1~63。

Hostname=192.168.56.200  主节点

datadir=/usr/local/mysql/logs

[ndbd]

Id=2

Hostname=192.168.56.201 从节点

datadir=/usr/local/mysql/data/

[ndbd]

Id=3

Hostname=192.168.56.202 从节点

datadir=/usr/local/mysql/data/

[MYSQLD]

[MYSQLD]

6.2.  datanode(n台)

6.2.1.  授权

su - root

chown -R mysql:mysql /usr/local/mysql

6.2.2.  安装

/usr/local/mysql/scripts/mysql_install_db --user=mysql--basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

 

6.2.3.  配置Data Node 

su – root

cp /usr/local/mysql/support-files/my-default.cnf/etc/my.cnf

cp /usr/local/mysql/support-files/mysql.server/etc/init.d/mysqld

vi /etc/my.cnf

datadir=/usr/local/mysql/data/

ndbcluster

SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。

ndb-connectstring=192.168.56.200

[ndbd]

connect-string=192.168.56.200

[mysql_cluster]

ndb-connectstring=192.168.56.200

[ndb_mgm]

connect-string=192.168.56.200

[ndb_mgmd]

config-file=/var/lib/mysql-cluster/config.ini

6.2.4.   在管理节点启动相关服务:

注意：如果提示错误，让创建文件夹，创建个。

  #/usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini

  #netstat -lntpu

  tcp       0      00.0.0.0:1186           0.0.0.0:*                

  LISTEN   22907/ndb_mgmd

  

  看到1186端口开放了说明启动是正常的.

 

6.2.5.   在数据节点启动相关服务:

  #/usr/local/mysql/bin/ndbd --initial

  #netstat -lntpu
  tcp       0      010.10.1.65:32975           0.0.0.0:*                   LISTEN     1901/ndbd                  
tcp        0      010.10.1.65:32976           0.0.0.0:*                  LISTEN     1901/ndbd           
tcp        0      010.10.1.65:32977           0.0.0.0:*                  LISTEN      1901/ndbd  

 

#service mysqld start

#netstat -lntpu

tcp       0      0 :::3306                    :::*                       LISTEN      2258/mysqld 

 

可以看到相关的ndbd服务以及mysql已经启动ok了.

 

7.  功能测试

 

  到管理节点查看下相关服务状态

 # ndb_mgm
 ndb_mgm> show
 Connected to Management Server at: localhost:1186
 Cluster Configuration
 ---------------------
 [ndbd(NDB)]     2 node(s)
 id=2    @10.10.1.65  (mysql-5.1.37 ndb-7.0.8,Nodegroup: 0, Master)
 id=3    @10.10.1.58  (mysql-5.1.37 ndb-7.0.8,Nodegroup: 0)

 [ndb_mgmd(MGM)] 1 node(s)
 id=1    @10.10.1.151  (mysql-5.1.37 ndb-7.0.8)

 [mysqld(API)]   2 node(s)
 id=4    @10.10.1.65  (mysql-5.1.37 ndb-7.0.8)
 id=5    @10.10.1.58  (mysql-5.1.37 ndb-7.0.8)

 

 可以看到这里的数据节点、管理节点、sql节点都是正常的.

 

 现在我们在其中一个数据节点上进行相关数据库的创建,然后到另外一个数据节点上看看数据是否同步

 

 # /usr/local/mysql/bin/mysql -u root -p

 mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema | 
|mysql             | 
| ndb_2_fs           | 
|test              | 
+--------------------+
mysql> create database aa;
mysql> use aa
mysql> CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败，只有这样子，这两台机器才能共享数据库的数据结构
mysql> INSERT INTO ctest2 () VALUES (1);
mysql> SELECT * FROM ctest2;
+------+
| i    |
+------+
|    1 | 
+------+

 

现在到另外一个数据节点查看下aa数据库是否同步过来了.

 

#/usr/local/mysql/bin/mysql -u root -p

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema | 
|aa                | 
|bb                | 
|mysql             | 
| ndb_3_fs           | 
|test              | 
+--------------------+
mysql> use aa
mysql> select * from ctest2;
+------+
| i    |
+------+
|    1 | 
+------+

 

从上面可以看到数据已经同步了,mysql集群环境已经搭建完成.

 

8.  破坏性测试

  

  大家在上面可以看到10.10.1.65作为主的数据节点,我现在把10.10.1.65这台机器关闭,看下有什么结果

  ndb_mgm> show
  Cluster Configuration
  ---------------------
  [ndbd(NDB)]     2 node(s)
  id=2 (not connected, accepting connect from 10.10.1.65)
  id=3    @10.10.1.58  (mysql-5.1.37 ndb-7.0.8,Nodegroup: 0, Master)

  [ndb_mgmd(MGM)] 1 node(s)
  id=1    @10.10.1.151  (mysql-5.1.37 ndb-7.0.8)

  [mysqld(API)]   2 node(s)
  id=4 (not connected, accepting connect from any host)
  id=5    @10.10.1.58  (mysql-5.1.37 ndb-7.0.8)

 

  从上面可以发现现在10.10.1.65这台机器的数据节点和sql节点已经连接不上了,10.10.1.58成为了主数

  据节点,我们现在在10.10.1.58数据节点上创建一个表,然后恢复10.10.1.65的数据节点,看下它是否

  把数据同步过来了.

 

  先在10.10.1.58数据节点做如下操作:

  mysql> create table ctest3(id int(11)) engine=NDB;
  mysql> show tables;
+--------------+
| Tables_in_aa |
+--------------+
| ctest2       | 
| ctest3       | 
+--------------+
mysql> insert into ctest3 values(1);
mysql> select * from ctest3;
+------+
| id   |
+------+
|    1 | 
+------+

 

然后我们恢复10.10.1.65数据节点,查看下ctest3数据是否同步过来了.

 

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema | 
|aa                | 
| bb                | 
|mysql             | 
| ndb_2_fs           | 
|test              | 
+--------------------+
mysql> use aa
mysql> show tables; 
+--------------+
| Tables_in_aa |
+--------------+
| ctest        | 
| ctest2       | 
| ctest3       | 
+--------------+
mysql> select * from ctest3;
+------+
| id   |
+------+
|    1 | 
+------+

 

可以看到10.10.1.65数据节点已经把10.10.1.58数据节点的数据同步过来了,说明mysql集群是没有问题的了.随后做下mysql性能相关的测试.

 

9.  修改root密码

/usr/local/mysql/bin/mysqladmin -u root password 'root' 

 

10.        开启远程连接

mysql –uroot -proot

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY 'root' WITH GRANT OPTION;

 

cz-神算子
关注
MySQL Cluster集群搭建详解
05-29
对于想要搭建MySQL Cluster集群的新手来说，了解安装过程中的环境配置、软件准备、安装步骤、配置文件编辑等环节是非常重要的。 首先，在搭建MySQL Cluster集群之前，我们需要准备适合的操作系统环境。这里推荐的...
搭建mysql-cluster集群.docx
07-14
搭建MySQL Cluster集群 MySQL Cluster是适用于分布式计算环境的高可用、高冗余版本的MySQL，其技术在分布式系统中为MySQL数据提供了冗余特性，增强了安全性，使得单个MySQL服务器故障不会对系统产生巨大的负面效应...
第23章 MySQL NDB Cluster 8.0
一线大码
03-22 687
官方文档地址：Chapter 23 MySQL NDB Cluster 8.0 23.1 NDB Cluster Overview 23.2 NDB Cluster Installation 23.3 Configuration of NDB Cluster 23.4 NDB Cluster Programs 23.5 Management of NDB Cluster 23.6 NDB Cluster Replication 23.7 NDB Cluster Release Notes MySQL ND
MySQL集群配置 (转)
cosio的专栏
04-23 1149
一、介绍========这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是
MySQL Cluster集群搭建
yorao4565的博客
01-08 2503
Mysql Cluster集群搭建的基本流程
mysql cluster集群搭建
weixin_30737363的博客
10-30 327
安装要求 安装环境：CentOS-6.4 安装方式：源码编译安装 软件名称：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz 软件安装位置：/usr/local/mysql 数据存放位置：/var/mysql/data 日志存放位置：/var/mysql/logs 集群设计 首先设计集群的安装分配方式，我共需要5台...
MysqlCluster集群搭建及使用
热门推荐
极客
09-21 1万+
亿级用户的分布式数据存储解决方案 1 文章目录1、简介2、搭建Mysql Cluster（基于阿里云内网部署，相同实例地区）2.1 安装配置管理节点（GMG)2.2 安装配置数据节点（NDB)2.3 安装配置SQL节点（NDB)2.4 集群状态3、操作Mysql Cluster4、MySQL Cluster的关闭顺序与单点故障测试5、Mysql Cluster 远程连接6、测试单点故障（高可用）7、SpringBoot中使用参考网址 1、简介 ​ MySQL Cluster(MySQL集群)是一个高性能、
MySQL之——MySQL Cluster集群搭建详解(基于手动编译安装包)
冰河的专栏
11-07 6030
最近，由于工作很忙的原因，有段时间没有更新博客了，今天给大家带来一篇如何搭建MySQL Cluster集群的文章，好，我们直接进入主题。 本文将搭建一个最简化的MySQL Cluster系统，配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点，这五个结点会分别安装在五个虚拟机上，虚拟机的名称和IP如下所示： 示：
【Mysql数据库系列】CentOS7下Mysql安装与Mysql Cluster集群搭建详细说明（ Innodb Cluster）
千木一枝的博客
12-22 867
一、环境准备 1. 修改系统最大文件打开数，直接执行下列脚本即可 说明： 数据库服务器建议都要调整此参数 # 可参考 https://blog.csdn.net/robin90814/article/details/86705155 cat <<EOF >>/etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 EOF 验证： ulimit -n 2. 卸载相关mysql和mariad
mysql cluster noofreplicas,Mysql Cluster集群搭建
weixin_33558958的博客
03-17 235
本文源链接地址：https:www.93bok.com实验环境： Centos6.5 minimal 64位系统服务器IP：192.168.1.113(客户端)192.168.1.114(管理节点)192.168.1.115(数据节点1)192.168.1.116(数据节点2)192.168.1.117(SQL节点1)192.168.1.118(SQL节点2)包版本：MySQL Cluster：m...
Mysql Cluster 集群搭建和开机自启
qq_21153619的博客
09-29 1653
一、前言 MySQL的集群方案有很多，比如自带的MySQL Replication，官方的MySQL Fabirc、MySQL Cluster，还有三方的MMM、MHA等等，每个方案都是各自的优缺点，选型无非是要考虑高可用性、可伸缩性、负载均衡等等。 二、介绍 MySQL Cluster 是MySQL 官方集群部署方案，它的历史较久。支持通过自动分片支持读写扩展，通过实时备份冗余数据，是可用性最高的方案，声称可做到99.999%的可用性。 MySQL NDB Cluster架构按照节点类型分为.
linux下MySQL-cluster集群搭建.
08-18
### Linux 下 MySQL Cluster 集群搭建详解 #### 一、基本概念 MySQL Cluster 是一个高性能、高可用性且易于管理的解决方案，适用于需要实时事务处理的应用场景。它基于 NDB 存储引擎，该存储引擎是事务型的并且...
第一章(mysql-cluster集群搭建).md
07-08
mysql集群方式：支持3台服务器，采用NDB方式，在centos7环境已经进行验证。效率大大提高,参考官网进行使劲论证
基于JavaScript和HTML的前端私教课程设计源码
09-24
该项目是一个基于JavaScript和HTML的前端私教课程设计源码，主要使用JavaScript语言开发。项目共包含54个文件，其中33个JavaScript文件，7个HTML文件，6个Markdown文件，4个Java文件，2个PDF文件，1个JSON文件，1个YAML文件。该课程设计旨在提供高效的前端学习资源。
嵌入式学习之光照不足报警检测电路.zip
09-24
嵌入式学习，电子信息技术
python1Python脚本 模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机PGL.zip
最新发布
09-24
[python1]Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机【PGL】.zip [python1]Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机【PGL】.zip [python1]Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机【PGL】.zip
基于C语言的思维车载设备OTA升级模块设计源码
09-24
该项目是基于C语言的思维车载设备OTA升级模块设计源码，包含42个文件，其中包括16个头文件（.h）、15个源文件（.c）、3个JSON配置文件、1个Git忽略文件、1个主Makefile文件、1个构建目录、1个Markdown文档以及多个子目录下的Makefile文件。该模块专为思维车载设备设计，实现了一键OTA升级功能，提高了设备的维护效率和用户体验。
geopandas安装包(pip install)_geopandas-0.8.1.tar.zip
09-24
在使用Python来安装geopandas包时，由于geopandas依赖于几个其他的Python库（如GDAL, Fiona, Pyproj, Shapely等），因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南，适用于大多数用户： 使用pip安装 确保Python和pip已安装： 首先，确保你的计算机上已安装了Python和pip。pip是Python的包管理工具，用于安装和管理Python包。 安装依赖库： 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库，你可能需要先安装这些库。通常，你可以通过pip直接安装这些库，但有时候可能需要从其他源下载预编译的二进制包（wheel文件），特别是GDAL和Fiona，因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意：在某些系统上，直接使用pip安装GDAL和Fiona可能会遇到问题，因为它们需要编译一些C/C++代码。如果遇到问题，你可以考虑使用conda（一个Python包、依赖和环境管理器）来安装这些库，或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas： 在安装了所有依赖库之后，你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器，那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境（可选，但推荐）： bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas： 使用conda-forge频道来安装geopandas，因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题，比如编译错误或依赖问题，请检查你的Python版本和pip/conda的版本是否是最新的，或者尝试在不同的环境中安装。 某些库（如GDAL）可能需要额外的系统级依赖，如地理空间库（如PROJ和GEOS）。这些依赖可能需要单独安装，具体取决于你的操作系统。 如果你在Windows上遇到问题，并且pip安装失败，尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件，并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas，但如果你想要一个Python脚本来重命名文件夹下的文件，在原始名字前面加上字符串"geopandas"，以下是一个简单的示例： python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
亲测实战：MySQL Cluster集群搭建详解
这个教程提供了一个基础的MySQL Cluster集群搭建流程，对于初次接触MySQL Cluster或者想要在虚拟环境中进行实践的人来说，是一份很好的参考资料。不过，实际生产环境中还需要考虑更多的安全、监控和性能调优措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值