Hadoop集群搭建七 MYSQL平台的安装和使用

Hadoop集群搭建七 MYSQL平台的安装和使用

MySQL数据库的集群版本有管理节点、数据服务节点、SQL服务节点总共3类服务节点，集群中要求至少一台单独的主机作为管理节点，而集群模式需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为数据服务节点以及两台或以上的主机作为SQL服务节点，具体规划如下：

Cluster-01 192.168.10.111 MC管理节点
Cluster-02 192.168.10.112 MC数据服务节点
Cluster-03 192.168.10.113 MC数据服务节点
Cluster-04 192.168.10.114 MC SQL服务节点
Cluster-05 192.168.10.115 MC SQL数据服务节点

一、MySQL集群版安装环境配置
MySQL集群版安装过程所有的操作步骤需要使用专门用于集群的admin用户进行。
该项步骤需要在所有主机上进行操作。
1、上传MySQL相关软件包到用户家目录的“setups”目录下

2、匹配MySQL关键字查询包，列出本机yum方式安装的MySQL软件，并卸载删除已安装的MySQL；
#rpm -qa | grep mysql
#yum list installed | grep mysql

3、匹配MariaDB关键字查询包，列出本机yum方式安装的MariaDB软件，并卸载删除已安装的MariaDB；
#rpm -qa | grep mariadb
#rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

4、检查本机是否yum方式安装了libaio软件，若为安装，则使用此命令安装；
#rpm -qa | grep libaio
#yum list installed | grep libaio

5、检查MySQL用户组是否存在，若不存在则创建MySQL用户组；
6、检查MySQL用户是否存在，若不存在则创建MySQL用户并加入到MySQL用户组中；
#cat /etc/group | grep mysql
#groupadd mysql
#cat /etc/passswd | grep mysql
#useradd -r -g mysql mysql
#cat /etc/group | grep mysql
#cat /etc/passwd |grep mysql

7、查看前系统中SELinux服务的运行状态，需要进行永久关闭；
#sestatus -v

（1） 用vim编辑器打开config文件：vi /etc/selinux/config；找到配置项“SELINUX”所在行，将其改为以下内容：
#SELINUX=disable

（2） 重启主机(reboot)；

二、MySQL集群版基本安装配置
该项所有的操作步骤需要使用集群中所有主机上进行操作
1、MySQL Cluster软件包“mysql-cluster-gpl-7.5.7- linux-glibc2.12-x86_64.tar.gz”提前上传与用户家目录的“setups”目录下；
（1）创建用于存放MySQL相关文件的目录 #mkdir /mysql
（2）进入MySQL的配置文件所在目录 #cd /mysql
（3）将软件包解压到“mysql”目录
#tar -xzf ~/setups/ mysql-cluster-gpl-7.5.7-linux-glibc2.12-x86_64.tar.gz
2、进入系统的“/usr/local”目录，在该目录下创建一个名为“MySQL”的连接指向MySQL Cluster所在的目录，MySQL源路径以MySQL Cluster软件包实际解压包的路径为准。
3、进入连接的MySQL目录，创建存放MySQL数据库数据的目录，更改该数据目录的权限设置；

4、更改当前“MySQL”目录的所属用户和所属组；

5、配置MySQL相关的环境变量，修改系统的配置文件；
#vi /etc/profile
在文件末尾添加以下内容：
#mysql-cluster environment
MYSQL_CLUSTER_HOME=/usr/local/mysql
PATH=$ MYSQL_CLUSTER_HOME/bin:$PATH
Export MYSQL_CLUSTER_HOME PATH

6、使新配置的环境变量立即生效，并查看环境变量是否生效；
#source /etc/profile

三、配置管理节点Cluster-01
该项所有的操作步骤需要在集群中所有管理节点使用进行
1、进入MySQL Cluster软件所在目录，创建存放MySQL Cluster数据目录；
2、更改“mysql-cluster”目录的所属用户和所属组；
3、创建用于存放MySQL Cluster管理节点配置文件的目录，创建MySQL Cluster管理节点的配置文件，并对配置文件进行修改；
#mkdir mysql-cluster
#chown -R mysql mysql-cluster
#chgrp -R mysql mysql-cluster
#mkdir etc
#cd etc

在文件中添加如下内容：

4、更改当前“etc”目录的所属用户和所属组，并启动MySQL Cluster的管理节点；
注：首次启动或修改之后启动需要添加参数“–initial”,正常启动时不需要添加参数“–initial”

5、查看系统进程信息，若存在信息中包含“ndb_mgmd”关键字的进程则表示MySQL Cluster的管理节点启动成功，进入MySQL Cluster管理节点的控制台，查看节点状况；


四、配置数据服务节点Cluste-02、Cluste-03
该项所有的操作步骤需要在集群中所有数据服务节点主机上进行
1、进入系统配置文件所在目录，创建MySQL Cluster数据服务节点的配置文件，并对配置文件进行修改；

在其中添加如下内容：

2、启动数据服务节点，查看系统进程信息,若存在信息中包含“ndbd”关键字的进程则表示MySQL Cluster的数据服务节点启动成功，并进入MySQL Cluster管理节点的控制台。

五、配置SQL服务节点Cluster-04、Cluster-05
该项所有的操作步骤需要在集群中所有SQL服务节点主机上进行
1、进入系统配置文件所在目录，创建MySQL Cluster数据服务节点的配置文件，并对配置文件进行修改；

在其中添加如下内容：

2、对MySQL数据库的安装进行初始化，执行该命令后会有一些提示信息，特别注意最后一行的“[Note]”相关信息，信息内容如下：

信息末尾的 “XXXXXXXXXXXXXX”是安装程序随机生成的初始密码, 在首次以root用户登录数据库时雷要使用,非常重要 一定要记下;
3、将MySQL加入到系统的可控制启动服务目录内，并将服务命名为“MySQL”，启动SQL服务节点，查看系统进程信息,若存在信息中包含“ndbd”关键字的进程则表示MySQL Cluster的数据服务节点启动成功；

4、进入MySQL Cluster管理节点的控制台；
注意：只有本步骤的验证实在集群中管理节点主机上进行操作，之后的操作仍然是在SQL服务节点主机继续操作

5、登录MySQL数据库，会提示输入密码，该密码为之前进行安装初始化时所显示的初始化密码，然后进入MySQL的控制台；
（1）在控制台使用命令“SET PASSEORD=PASSWORD(‘mysqlabc’);”,重新设置数据库的“root”用户的登录密码，其中“mysqlabc”部分为自定义的新密码。
（2）在MySQL控制台使用命令“USE mysql;” 切换到 “mysql” 数据库。
（3）在MySQL控制台使用命令“UPDATE user SET host=’%’ WHERE user=‘root’” , 修改数据库的root用户所接收请求来源的范围。 允许远程登录。
（4）使用命令“select host from user where user=root”查看数据库的host信息6、使新配置的环境变量立即生效，并查看环境变量是否生效；
（5）在MySQL控制台使用命令“FLUSH PRIVILEGES”,刷新数据库的权限信息使新配置的权限生效。
（6）在MySQL控制台使用命令 "exit”可以退出，MySQL控制台返回到系统命令行界面。

6、启添加系统防火墙的端口策略, 对外开启MySQL所使用的端口“3306”，并重启系统防火墙服务,使新添加的端口策略生效；

六、MySQL集群版验证
1、在任意一台SQL服务 节点主机 上使用命令“mysql-u root -p” 登录到MySQL数据库，会提示输入密码，正确输入密码成功登录MySQL数据库之后会进入MySQL的控制台；
#mysql -u root -p
2、在MySQL控制台使用命令“CREATEDATABASE test;"创建数据库“test”;
3、在MySQL控制台使用命令“SHOW DATABASES;"显示数据库列表，若存在名为“test”的数据库，则表示集群同步数据成功；

4、在任意一台集群主机上执行：

七、MySQL集群测试
测试一
a)现在我们在其中一个SQL节点上进行相关数据库的创建然后到另外一 个SQL节点上看看数据是否同步。
在SQL节点1.上执行:
shell> /usr/local/mysql/bin/mysql -u root -P
mysql>show databases;

mysql>create database aa;
mysql>use aa;
mysql>CREATE TABLE ctest2 Gi INT) ENGINE=NDB;
//这里必须指定数据库表的引擎为NDB,否则同步失败
mysql> INSERT INTO ctest2 O VALUES (1);
mysql> SEL ECT * FROM ctest2;

b)然后在SQL节点2上看数据是否同步过来了

经过测试，在非master.上创建数据，可以同步到master上查看表的引擎是不是NDB，>show create table表名:

测试二
a) 关闭一个数据节点，在另外一个节点写输入，开启关闭的节点，看数据是否同步过来。
首先把数据节点1重启，然后在节点2上添加数据
在SQL节点2上操作如下:
mysql> create database bb;
mysql> use bb;
mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB;
mysql> use aa;
mysql> INSERT INTO ctest2 O VALUES (3333);
mysql> SELECT FROM ctest2;*

b) 等数据节点1启动完毕，启动数据节点1的服务
#/usr/local/mysql/bin/ndbd -initial
#service mysqld start
c) 然后登录进去查看数据
#/ustrlocal/mysql/bin/mysql -u root p

可以看到数据已经同步过来了，说明数据可以双向同步了。
八、MySQL数据库的使用
练习一：

练习二：

练习三、

练习四、sql工具的使用

作业一、

作业二、

遇到的问题 1、在给系统添加防火墙的端口策略时，防火墙显示没有运行。解决方案：使用命令systemctl start firewalld启动防火墙。

2、启动管理节点时显示错误。解决办法：重启服务（先使用ndb_mgm -e shutdown关闭服务）