MYSQL集群部署(三)--集群部署

原创 2013年12月03日 21:08:30

什么是集群?


      为了减少数据中心结点压力和大数据量处理,采用把MySQL分布部署的方法,一个或多个application对应一个MySQL数据库。把几个MySQL数据库公用的数据做出共享数据,存在数据结点里面。其他不共享的数据还维持在各自分布的MySQL数据库本身中。结构如下图:

上图是一个标准的MYSQL集群架构图,如图所示,一个MYSQL可以包含四个部分:Client/APIs、SQL Nodes、DataNodes和NDBManagement Server。

1)SQL Node:分布式数据库。包括自身数据和查询中心结点数据.

         2)Client/APIs:数据库访问接口,我们通常使用的是mysqld,但在不同的场合,结合不同的编程语言、技术,他会表现成不同的形式,有可能是个命令行界面,当然也有可能是个网页。

3)数据结点(Datanode):集群共享数据(内存中).

4)管理服务器(ManagementServer–ndb_mgmd):集群管理SQL node,Data node.

 


集群环境规划



一、初步规划



按照上节的架构图,对我想要搭建的MYSQL集群环境做初步如下规划:

管理节点:                                 192.168.143.110

数据节点,SQL节点(0):192.168.143.240

数据节点,SQL节点(1):192.168.143.241

 


二、选择操作系统



         在操作系统选择上面,我耽误了很长的时间,原因主要是因为对vmware软件的不了解,和对软件的部署环境没有准确的认识。所以,在安装软件之前,先了解这个软件的版本可以部署的操作系统类型(包括厂家,硬件架构等)是非常重要的。

         最后,在不断的尝试的体验下,MYSQL集群主要可以部署在如下系统上:

其中Suse Linux Enterprise Server只提供了64位的版本。而vmware一般只提供32位的虚拟服务。(实际部署时,应该考虑suse)

         考虑到RedHat的升级比较繁琐,所以测试环境选择了Debian Linux。版本为6.0.

         DebianLinux 6.0下载地址为: http://www.debian.org/distrib/

         而因为硬件的限制,用于部署管理节点的电脑只能用现有的Windows系统。(顺便测试一下跨平台部署?)


三、选择软件


         结合软件版本以及其使用的操作系统版本。最终选择MySQL Cluster 7.3.3,下载地址:

http://dev.mysql.com/downloads/cluster/

        

四、最终方案



节点类型

IP

主机名

操作系统

软件版本

管理节点

192.168.143.110

Pc

Windows 7

MySQL Cluster 7.3.3

数据和SQL节点1

192.168.143.240

Mysql-1

Debian Linux 6.0

MySQL Cluster 7.3.3

数据和SQL节点2

192.168.143.241

Mysql-2

Debian Linux 6.0

MySQL Cluster 7.3.3



部署环境



一、配置管理节点



         因为管理节点是部署在Windows上的,先下载windows版的安装文件,默认安装在C:\,安装完后,C:\ProgramFiles\下会多出Mysql的文件夹,文件夹内容如下:

(1)在C:\根目录下新建mysql文件夹,然后在集中新建bin和mysql-cluster文件夹,在新建的bin文件夹中再新建cluster-logs文件夹。

      (2)在bin文件夹中,新建2个文件config.ini和my.ini,并且把C:\ProgramFiles\MySQL\MySQL Cluster 7.3\bin下的ndb_mgm.exe和ndb_mgmd.exe拷过来。

         做完前两步后,C:/mysql下的目录架构应该是这样的:

       

     注意,(1)(2)两步的操作,是为了之后配置管理节点时方便,文件夹名字是可以更改取的,只要在写配置文件的时候把文件名和路径先对应就行了。

另外,管理节点在启动时,如果没有指定配置文件所在目录,会优先在c:\mysql、d:\mysql、C:\Program Files\MySQL\等目录下搜索,这样做可以避免一些潜在的问题。

其中:

Cluster-logs:             用于存放日志

Config.ini:               用于配置集群信息

my.ini:                      用于配置管理节点

ndb_mgm.exe:      是管理节点的客户端程序

ndb_mgmd.exe:   是管理节点的服务端程序

 

(3)配置config.ini

作如下配置:

[NDBD DEFAULT]

NoOfReplicas=2                                    # Number of replicas                                                   

DataMemory=80M                               #How much memory to allocate for data storage       

IndexMemory=18M                              #How much memory to allocate for index storage      

                                                    #For DataMemory and IndexMemory, we have used the 

                                                     # default values.Since the "world" database takes up   

                                                    #only about 500KB, this should be more than enough for 

                                                    #this example Cluster setup.                                  

[MYSQLD DEFAULT]                                                                                                       

[NDB_MGMD DEFAULT]                                                                                                  

[TCP DEFAULT]                                                                                                             

# Managment Server                                                                                                           

[NDB_MGMD]                                                                                                               

HostName=192.168.143.110                # Hostname or IP address of MGM node                  

datadir=c:/mysql/bin/cluster-logs         # Directory for MGM node logfiles                                  

# Storage Engines                                                                                                        

[NDBD]                                              #(one [NDBD] section per data node)                    

HostName=192.168.143.240                # Hostname or IP address                                            

DataDir= /var/mysql-node/data                    # Directory for this data node's datafile                       

                                                        #If not existed,create it manally.                            

[NDBD]                                                                                                                        

HostName=192.168.143.241                                                                                         

DataDir= /var/mysql-node/data                                                                                      

[MYSQLD]                                          #(one [MYSQLD] section per data node)                        

HostName=192.168.143.240                # Hostname or IP address                                            

[MYSQLD]                                                                                                                    

HostName=192.168.143.241                                                                                          

★在config.ini文件中,配置了几个节点,就是有几个节点,不能多配也不能少配

 

(4)配置my.ini

作如下配置:

#Options for management node process                                                                                

config-file=C:/mysql/bin/config.ini        # 第三步中的配置文件的位置                                     


二、配置数据和SQL节点


        每个节点的配置方法是一摸一样的,这里以其中一个为例。

         值得一提的是,只要是部署mysql集群,就只用到mysql-cluster这一个安装包,不需要单独安装mysql database。

         (1)将从网上下载的安装包mysql-cluster-gpl-7.3.3-debian6.0-i686.deb FTP上传到目录上。执行指令安装.

              指令:dpkg –i mysql-cluster-gpl-7.3.3-debian6.0-i686.deb

        

       (2)安装后在/opt下会出现mysql文件夹,切换到安装根目录:

              指令:cd /opt/mysql/server-5.6/

         

      

(3)新建mysql和mysql用户组

              指令:groupadd mysql

              指令:useradd mysql -g mysql

                                       

(4)新建数据目录

              指令:mkdir /var/mysql-node

              指令:mkdir /var/mysql-node/data # 这个数据目录一定要和config.ini中配置的一致

 

(5)配置目录权限

              指令:chown –R mysql:mysql /opt/mysql

              指令:chown –R mysql:mysql/var/mysql-node


(6)执行mysql默认数据初始化

              指令:./scripts/mysql_install_db--user=mysql --datadir=/var/mysql-node/data

         这步结束后/var/mysql-node/data下会有mysql,ndbinfo, performance_schema, test等文件。


(7)配置环境变量

         为了操作方便,我们通常会把/opt/mysql/server-5.6/bin下的ndbd,mysqld拷贝到/etc/bin下面,同样也可以把/opt/mysql/server-5.6/bin加到PATH里,我采用了后者。Debian默认的shell是bash。

              第一种指令:cp support-files/mysql.server /etc/init.d/mysqld

              第二种指令:declare -x PATH="$PATH:/opt/mysql/server-5.6/bin"


8)修改配置文件

              指令:cp support-files/my.cnf /etc/my.cnf     #如果没有,自己新建一个

              指令:vi /etc/my.cnf

         在标签项[mysqld]的末尾增加:

Ndbcluster                                                #引擎,MYSQL集群只支持个引擎   

ndb-connectstring=192.168.143.110            # 管理点的IP                                   

datadir=/var/mysql-node/data                     # 数据文件目录                                               

[mysql_cluster]                                                                                                

ndb-connectstring=192.168.143.110            # 数据文件目录                                               


三、启动各个节点



         按顺序启动三个节点。

         (1)启动管理节点

1)打开windows命令行,切换到c:\mysql,执行ndb_mgmd-f config.ini --configdir=C:\mysql\mysql-cluster

(2)启动数据节点

         1)在数据节点上执行 ndbd –initial

         注意仅在第一次启动时带initial参数,之后再启动是执行ndbd就可以了。

另外一个数据节点执行相同的操作

(3)启动SQL节点

         在所有的数据节点都启动完以后,再启动SQL节点

         1)在SQL节点上执行mysqld_safe--user=mysql

         这个比较重要,我在网上看到的其他诸如servicemysqld start等指令,经验证都不能成功。

         另外一个数据节点也同样执行。

(4)重新打开一个windows命令行,切换到c:\mysql,执行ndb_mgm,进入管理节点客户端,执行show指令,可以查看当前集群的节点情况,更多指令可以通过指令help获得 。

(这个状态说明了有一个管理节点,2个数据节点,2个SQL节点,并且状态都是OK的,其中ID-2的数据节点为当前的工作节点)

 


环境测试



     一、正常环境测试



         (1)在节点1中新建数据库,数据表,并插入数据,检查节点2中是否同步。

(2)在节点1中删除该数据库,检查节点2中是否同步。



     二、异常环境测试



         (1)停止节点1

         (2)在节点2中新建数据库,数据表,并插入数据。

         (3)启动节点1,检查新增的数据是否同步过来了。



     三、管理节点测试



         (1)测试指令。

         (2)重启节点1,检查工作节点是否能正常切换到节点2。

         (3)重启节点2,工作节点应切回节点1。



问题和解决方案汇总



一、SQL结点的问题



(1)启动时,日志报错:[ERROR] Fatal error: Can't open and lock privilege tables: Table'mysql.user' doesn't exist

同时日志中也提示:“The error means mysqld does not have the access rights to thedirectory.”

如果没有提示,参照下一个问题。

问题原因:MySQL Server访问的datadir权限不对

解决办法:如果datadir是/var/mysql-node/data,则执行如下命令:

# chown -R mysql :mysql /var/mysql-node

 

(2)启动时,日志报错:“Fatal error: Can't open and lock privilege tables: Table'mysql.host' doesn't exist”

问题原因:datadir目录中没有Mysql Server需要的初始数据文件

解决办法:如果datadir是/var/mysql-node/data,则执行如下命令:

# mysql_install_db --datadir=/var/mysql-node/data–user=mysql

 

(3)启动时,日志报错:“error while loading shared libraries: libaio.so.1:can not open sharedobject file:No such file or directory”

问题原因:这是因为系统没有装mysql的一个依赖

解决方法:去debian官网下载libaio.so的安装包,并安装,地址是:http://www.debian.org/distrib/

 

(4)启动时,发现启动成功了,但是日志有警告” [Warning] NDB : Tables not available after 15 seconds. Considerincreasing --ndb-wait-setup value “,并且在管理界面中,读取不到节点信息。

问题原因:必须要把config.ini配置的所有数据节点启动后,才能启动SQL节点。

解决方法:把所有数据节点启动后,再启动SQL节点

 


二、管理节点的问题



(1)启动管理节点时,出现” Unable to connect with connect string: nodeid=0,localhost:1186

Retrying every 5 seconds. Attempts left: 2“

问题原因:

1)ping不同127.0.01的网络,或者1186端口被占用

2)端口被防火墙屏蔽

3)config.ini文件没有配置正确,或者config文件的路径没有设置正确

解决方法:逐项检查。



三、数据节点的问题



         N/A


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hibernate核心接口和工作原理

Hibernate核心接口和工作原理 Hibernate有五大核心接口,分别是:Session 、Transaction 、Query 、SessionFactory 、Configuration...

MYSQL集群部署(二)--主备部署

补充(一)          重启虚拟机后和mysql之后,发现数据库登陆不上,报错如下: 用无密码登陆进去后,执行showdatabases;发现默认数据库mysql消失了。 结合之前的操作,...

Mac 下的MySQL ERROR 1227(42000): Access denied; you need (at least one of)

原文:http://blog.itpub.net/27099995/viewspace-1148875/ Mac 下的MySQL(只有连个库) AC-IT002deMacBook-Pr...

java实现单向链表的增、删、改、查

单向链表 作者:vashon package com.ywx.link; /** * 单向链表 * @author vashon * */ public class LinkTest { ...

【0026】navicat创建用户以及设置权限

为了保证数据库的安全,对操作用户分级授权是非常有必要的,navicat给我们提供了一个非常强悍又非常便捷的用户管理系统。点击位于“连接”右侧的“用户”命令,随之弹出管理用户的界面,Navicat ...

市场研究和营销策略实务(北京,11月21日)

市场研究和营销策略实务(北京,11月21日)【培训日期】2008年11月21日 【培训地点】北京【培训对象】企业高级管理人员、营销总监/经理等相关管理人员。【课程背景】    面对日益激烈的市场竞争,...
  • px_71
  • px_71
  • 2008-10-09 10:53
  • 17

利用反射技术修改类中的字段(成员变量的反射)

题目:利用反射技术修改类中的字段及成员变量的反射 作者:Vashon 一、首先定义一个类如下: class ReflectPoint { private int x; //私有的 pub...

MySql绿色版配置及使用详解

MySql数据库是有瑞典MySql AB公司开发,现在该公司被Oracle收购属于Oracle所有。同SQL Server类似,它也是基于关系型数据库的数据库管理系统,在Web应用方面MySQL是最好...

MySQL环境部署

MySql 环境部署
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)