关闭

MySQL优化之——集群搭建步骤详解

标签: mysql优化集群
1790人阅读 评论(0) 收藏 举报
分类:
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46833179

1 概述


MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机,每个都跑一个或者多个进程,这可能包括一个MySQL服务器,一个数据节点,一个管理服务器和一个专有的一个数据访问程序。

MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图,


 

MySQL从结构看,由3类节点(计算机或进程)组成,分别是:

管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。

数据节点:MySQL Cluster的核心,存储数据、日志,提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证,DB节点增加时,集群的处理速度会变慢。

SQL节点(API):用于访问MySQL Cluster数据,提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量,该节点 可以部署在Web应用服务器上,也可以部署在专用的服务器上,也开以和DB部署在 同一台服务器上。

2 NDB引擎


MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎,这样做的好处是速度快, 没有磁盘I/O的瓶颈,但是由于是基于内存的,所以数据库的规模受系统总内存的限制, 如果运行NDB的MySQL服务器一定要内存够大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多台服务器上来实现数据的可靠性和扩展性,理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。


2.1 缺陷


  • 基于内存,数据库的规模受集群总内存的大小限制

    基于内存,断电后数据可能会有数据丢失,这点还需要通过测试验证。

    多个节点通过网络实现通讯和数据同步、查询等操作,因此整体性受网络速度影响,

    因此速度也比较慢

     

    2.2 优点


    • 多个节点之间可以分布在不同的地理位置,因此也是一个实现分布式数据库的方案。

      扩展性很好,增加节点即可实现数据库集群的扩展。

      冗余性很好,多个节点上都有完整的数据库数据,因此任何一个节点宕机都不会造成服务中断。

      实现高可用性的成本比较低,不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现,NDB 只要有足够的内存就能实现。

二、集群搭建

将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五个虚拟机上,虚拟机的名称和IP如下所示:

管理结点

mysql-mgm

192.168.124.141

数据结点 1

mysql-ndbd-1

192.168.124.142

数据结点 2

mysql-ndbd-2

192.168.124.143

SQL 结点1

mysql-sql-1

192.168.124.144

SQL 结点2

mysql-sql-2

192.168.124.145

  

一、公共配置

请在三个虚拟机上分别配置此处的配置项。

1. 安装虚拟机

虚拟机操作系统安装CentOS 6.4的x86_64版本,使用NAT网络,并且还要安装vmware-tools,具体安装方法此处不详述。

2. 拷贝mysql cluster

下载以下版本的MySQL-Cluster:

http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz

下载得到的压缩包拷贝至虚拟机的/root/Downloads目录,然后在shell中运行以下命令:

cd /root/Downloads
tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz
mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql

3. 关闭安全策略

关闭iptables防火墙(或者打开防火墙的1186、3306端口),在Shell中运行以下命令:

chkconfig --level 35 iptables off

关闭SELinux,在Shell中运行以下命令:

gedit /etc/selinux/config

将config文件中的SELINUX项改为disabled,修改后的config文件的内容如下:


# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

最后重启系统

二、配置管理结点(192.168.124.141)

1. 配置config.ini配置文件

在shell中运行以下命令:

mkdir /var/lib/mysql-cluster

cd /var/lib/mysql-cluster

gedit config.ini

配置文件config.ini内容如下:

[ndbd default]
NoOfReplicas=2
DataMemory=80M
IndexMemory=18M

[ndb_mgmd]
NodeId=1
hostname=192.168.124.141
datadir=/var/lib/mysql-cluster

[ndbd]
NodeId=2
hostname=192.168.124.142
datadir=/usr/local/mysql/data

[ndbd]
NodeId=3
hostname=192.168.124.143
datadir=/usr/local/mysql/data


[mysqld]
NodeId=4
hostname=192.168.124.144


[mysqld]
NodeId=5
hostname=192.168.124.145

2. 安装管理结点

安装管理节点,不需要mysqld二进制文件,只需要MySQL Cluster服务端程序(ndb_mgmd)和监听客户端程序(ndb_mgm)。在shell中运行以下命令:

cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin
cd /usr/local/bin
chmod +x ndb_mgm*

三、配置数据结点(192.168.124.142、192.168.124.143)

1. 添加mysql组和用户

在shell中运行以下命令:

groupadd mysql
useradd -g mysql mysql

2. 配置my.cnf配置文件

在shell中运行以下命令:

gedit /etc/my.cnf

配置文件my.cnf的内容如下:

[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[mysql_cluster]
ndb-connectstring=192.168.124.141

3. 创建系统数据库

在shell中运行以下命令:

cd /usr/local/mysql
mkdir sock
scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

4. 设置数据目录

在shell中运行以下命令:

chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .

5. 配置MySQL服务

在shell中运行以下命令:

cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server

四、配置SQL结点(192.168.124.144、192.168.124.145)

1. 添加mysql组和用户

在shell中运行以下命令:

groupadd mysql
useradd -g mysql mysql

2. 配置my.cnf配置文件

在shell中运行以下命令:

gedit /etc/my.cnf

配置文件my.cnf的内容如下:

[client]
socket=/usr/local/mysql/sock/mysql.sock

[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
ndb-connectstring=192.168.124.141

[mysql_cluster]
ndb-connectstring=192.168.124.141

3. 创建系统数据库

在shell中运行以下命令:

cd /usr/local/mysql
mkdir sock
scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

4. 设置数据目录

在shell中运行以下命令:

chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .

5. 配置MySQL服务

在shell中运行以下命令:

cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server

五、Cluster环境启动

注意启动顺序:首先是管理节点,然后是数据节点,最后是SQL节点。

1. 启动管理结点

在shell中运行以下命令:

ndb_mgmd -f /var/lib/mysql-cluster/config.ini

还可以使用ndb_mgm来监听客户端,如下:

ndb_mgm

2. 启动数据结点

首次启动,则需要添加--initial参数,以便进行NDB节点的初始化工作。在以后的启动过程中,则是不能添加该参数的,否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

/usr/local/mysql/bin/ndbd --initial

如果不是首次启动,则执行下面的命令。

/usr/local/mysql/bin/ndbd

3. 启动SQL结点

若MySQL服务没有运行,则在shell中运行以下命令:

/usr/local/mysql/bin/mysqld_safe --user=mysql &

4. 启动测试

查看管理节点,启动成功:

六、集群测试

1. 测试一

现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。

在SQL结点1(192.168.124.144)上执行:

shell> /usr/local/mysql/bin/mysql -u root -p
mysql>show databases;
mysql>create database aa;
mysql>use aa;
mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败
mysql> INSERT INTO ctest2 () VALUES (1);
mysql> SELECT * FROM ctest2;

然后在SQL结点2上看数据是否同步过来了

经过测试,在非master上创建数据,可以同步到master上

查看表的引擎是不是NDB,>show create table 表名;

2. 测试二

关闭一个数据节点 ,在另外一个节点写输入,开启关闭的节点,看数据是否同步过来。

首先把数据结点1重启,然后在结点2上添加数据

在SQL结点2(192.168.124.145)上操作如下:

mysql> create database bb;
mysql> use bb;
mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB;
mysql> use aa;
mysql> INSERT INTO ctest2 () VALUES (3333);
mysql> SELECT * FROM ctest2;

等数据结点1启动完毕,启动数据结点1的服务

#/usr/local/mysql/bin/ndbd --initial#service mysqld start

然后登录进去查看数据

# /usr/local/mysql/bin/mysql -u root –p

可以看到数据已经同步过来了,说明数据可以双向同步了。

七、关闭集群

1. 关闭管理节点和数据节点,只需要在管理节点(ClusterMgm--134)里执行:

shell> /usr/local/mysql/bin/ndb_mgm -e shutdown

显示

Connected to Management Server at: localhost:1186
2 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.

2. 然后关闭Sql节点(135,136),分别在2个节点里运行:

shell> /etc/init.d/mysql.server stop
Shutting down MySQL... SUCCESS!

注意:要再次启动集群,就按照第五部分的启动步骤即可,不过这次启动数据节点的时候就不要加”-initial”参数了。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

MySQL集群的几种方案

组建MySQL集群的几种方案 LVS+Keepalived+MySQL(有脑裂问题?但似乎很多人推荐这个) DRBD+Heartbeat+MySQL(有一台机器空余?Heartbeat切换时间...
  • terry_water
  • terry_water
  • 2015-12-14 11:52
  • 3478

MySQL集群搭建详解(三种结点分离)

本文将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五...
  • yang1982_0907
  • yang1982_0907
  • 2014-03-07 16:16
  • 29925

MySQL分布式集群搭建

1 准备集群搭建环境     使用6台虚拟机来搭建MYSQL集群,相应的实验环境与对应的MYSQL节点之间的对应关系如下图所示: 节点名称 节点IP 节点内存 节点硬盘大小 节...
  • benzyh
  • benzyh
  • 2017-04-04 13:42
  • 4417

MySQL集群搭建步骤详解

本文将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2015-05-05 14:12
  • 1113

MySQL分布式集群搭建

1、准备集群搭建环境 使用6台虚拟机来搭建MySQL分布式集群,相应的实验环境与对应的MySQL节点之间的对应关系如下图所示: 管理节点(MGM):这类节点的作用是管理MySQLClust...
  • zhaorui2017
  • zhaorui2017
  • 2017-08-16 15:03
  • 1369

MySQL分布式集群部署

  • 2016-12-05 14:27
  • 661KB
  • 下载

Mysql分布式集群主从

MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及...
  • cuixiabing
  • cuixiabing
  • 2014-06-04 17:01
  • 3610

mysql分布式集群实现原理

分布式集群  做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等 有人会问mysql集群,根分表有什么关系吗?虽然它不是...
  • wenjie4892543
  • wenjie4892543
  • 2016-06-30 16:41
  • 15878

实战体验几种MySQL Cluster方案

MySQL的cluster方案有很多官方和第三方的选择,选择多就是一种烦恼,我们通过实战考察几种解决方案,包括MySQL Cluster, Fabric, Galera
  • kingofworld
  • kingofworld
  • 2015-03-31 22:02
  • 5465

MYSQL集群部署(二)--主备部署

补充(一)          重启虚拟机后和mysql之后,发现数据库登陆不上,报错如下: 用无密码登陆进去后,执行showdatabases;发现默认数据库mysql消失了。 结合之前的操作,...
  • crazy_huang
  • crazy_huang
  • 2013-12-03 20:05
  • 1398
    个人资料
    • 访问:1981756次
    • 积分:25858
    • 等级:
    • 排名:第272名
    • 原创:800篇
    • 转载:9篇
    • 译文:0篇
    • 评论:296条
    博客专栏
    Android

    文章:80篇

    阅读:229722
    Python

    文章:49篇

    阅读:32763
    搜索优化

    文章:20篇

    阅读:25170
    Nginx

    文章:17篇

    阅读:52417
    Dubbo

    文章:20篇

    阅读:40460
    JMS

    文章:13篇

    阅读:11024
    Netty

    文章:1篇

    阅读:1694
    Redis

    文章:18篇

    阅读:89695
    Memcached

    文章:9篇

    阅读:44383
    设计模式

    文章:22篇

    阅读:47423
    Mycat

    文章:20篇

    阅读:24684
    Web前端

    文章:22篇

    阅读:81357
    Linux

    文章:76篇

    阅读:217455
    JVM

    文章:15篇

    阅读:49896
    J2EE

    文章:74篇

    阅读:269907
    Java

    文章:152篇

    阅读:490182
    Hadoop生态

    文章:122篇

    阅读:193073
    MySQL

    文章:129篇

    阅读:252524
    最新评论