集群应用系统

青木沐

于 2024-09-14 13:12:03 发布

阅读量1.6k

点赞数 12

文章标签： mysql 数据库 kafka zookeeper nginx redis

本文链接：https://blog.csdn.net/2402_82932277/article/details/142255775

版权

集群应用系统

什么是集群应用系统？

集群应用系统是指将多台计算机（服务器）组成一个集群，以协同处理任务的系统。它通过分布式计算、负载均衡和冗余设计，提升系统的计算能力、可靠性和可用性。集群应用系统通常用于处理大规模数据、运行高性能计算任务或提供高可用性的服务。

常见的集群应用系统类型包括：

负载均衡集群：将任务分配到不同的服务器，以平衡负载和提高处理效率。
高可用性集群（HA）：保证当一台服务器出现故障时，其他服务器可以接管任务，确保系统持续运行。
计算集群：多台服务器协作处理大量的计算任务，常用于科学研究、金融分析等领域。

这种系统的优势在于高扩展性和容错能力，适合对稳定性和性能要求较高的场景。

部署操作

IP	主机名	节点
192.168184.140	mycat	Mycat中间件服务节点
192.168.184.141	db1	MariaDB数据库集群主节点
192.168.184.142	db2	MariaDB数据库集群从节点
192.168.184.180	zookeeper1	集群节点
192.168.184.101	zookeeper2	集群节点
192.168.184.102	zookeeper3	集群节点
192.168.184.146	redis	消息队列服务节点
192.168.184.147	jar1	Tomcat1节点
192.168.184.148	jar2	Tomcat2节点
192.168.184.149	nginx	Nginx服务器

关闭防火墙

# Systemctl stop firewalld

# setenforce 0

环境配置

1.修改主机名

# sudo hostnamectl set-hostname mycat

# bash

# hostnamectl

Static hostname: mycat

Icon name: computer-vm

Chassis: vm

Machine ID: 754f8a1ad2654504b10cacfb2e9d5eb0

Boot ID: 75789f685c6247ee8418c60b451585af

Virtualization: kvm

Operating System: CentOS Linux 7 (Core)

CPE OS Name: cpe:/o:centos:centos:7

Kernel: Linux 3.10.0-1160.45.1.el7.x86_64

Architecture: x86-64

十台虚拟机均进行该操作

2. 修改 hosts 文件

# vi /etc/hosts

编辑以下内容

192.168.184.140 mysql.mall mycat

192.168.184. 141 db1

192.168.184. 142 db2

192.168.184.180 zk1.mall

192.168.184.101 zk1.mall

192.168.184. 102 zk1.mall

192.168.184. 180 kafka1.mall

192.168.184. 101 kafka1.mall

192.168.184. 102 kafka1.mall

192.168.184. 146 redis.mall

192.168.184. 147 jar1

192.168.184. 148 jar2

192.168.184. 149 nginx

十台虚拟机均进行该操作

3.配置阿里yum源和本地yum源，使用提供的 gpmall-repo 文件上传至 10 个虚拟机的 /root 目录下。

阿里yum源

[1] 备份默认 repo 文件

# cd /etc/yum.repos.d

# sudo mkdir backup

# sudo mv *.repo backup/

[2] 阿里源

[base]

name=CentOS-$releasever - Base - mirrors.aliyun.com baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/

gpgcheck=1

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[updates] name=CentOS-$releasever - Updates - mirrors.aliyun.com baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/ gpgcheck=1

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[extras]

name=CentOS-$releasever - Extras - mirrors.aliyun.com baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/

gpgcheck=1

gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[3] 清理缓存

# sudo yum clean all && yum repolist

[4] 把之前 EPEL 给补回来

# sudo yum remove -y epel-release

# sudo yum install -y epel-release

#sudo yum clean all && yum repolist(清理缓存)

本地yum源

[1] 编写yum源

# vi /etc/yum.repos.d/local.repo

编写内容

[mariadb]

name=mariadb

baseurl=file:///root/gpmall-repo

gpgcheck=0

enabled=1

# yum repolist

4 安装JDK 环境

在 mycat、zookeeper1、zookeeper2、zookeeper3、jar1、jar2 服务器上部署 JDK 1.8 版本

# sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

# java -version

openjdk version "1.8.0_412"

OpenJDK Runtime Environment (build 1.8.0_412-b08)

OpenJDK 64-Bit Server VM (build 25.412-b08, mixed mode)

5 安装数据库、Zookeeper 等服务

(1)在 db1 和 db2 服务器上安装 MariaDB 服务

# 安装 MariaDB 服务
# sudo yum install -y mariadb mariadb-server
# 启动 MariaDB 服务并设置开机自启
# sudo systemctl start mariadb
# sudo systemctl enable mariadb

（2）在db1和db2虚拟机节点上初始化MariaDB数据库，并设置MariaDB数据库root访问用户的密码为123456。

[root@db1 ~]# mysql_secure_installation

/usr/bin/mysql_secure_installation: line 379: find_mysql_client: command not found

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB

SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY!

In order to log into MariaDB to secure it, we'll need the current

password for the root user. If you've just installed MariaDB, and

you haven't set the root password yet, the password will be blank,

so you should just press enter here.

Enter current password for root (enter for none): #默认按回车

OK, successfully used password, moving on...

Setting the root password ensures that nobody can log into the MariaDB

root user without the proper authorisation.

Set root password? [Y/n] y

New password: #输入数据库root密码123456

Re-enter new password: #重复输入密码123456

Password updated successfully!

Reloading privilege tables..

... Success!

By default, a MariaDB installation has an anonymous user, allowing anyone

to log into MariaDB without having to have a user account created for

them. This is intended only for testing, and to make the installation

go a bit smoother. You should remove them before moving into a

production environment.

Remove anonymous users? [Y/n] y

... Success!

Normally, root should only be allowed to connect from 'localhost'. This

ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] n

... skipping.

By default, MariaDB comes with a database named 'test' that anyone can

access. This is also intended only for testing, and should be removed

before moving into a production environment.

Remove test database and access to it? [Y/n] y

- Dropping test database...

... Success!

- Removing privileges on test database...

... Success!

Reloading the privilege tables will ensure that all changes made so far

will take effect immediately.

Reload privilege tables now? [Y/n] y

... Success!

Cleaning up...

All done! If you've completed all of the above steps, your MariaDB

installation should now be secure.

Thanks for using MariaDB!

（3）配置数据库集群主节点

[mysqld]

log_bin = mysql-bin #记录操作日志

binlog_ignore_db = mysql #不同步MySQL系统数据库

server_id = 141 #数据库集群中的每个节点id都要不同，一般使用IP地址的最后段的数字，例如192.168.184.141，server_id就写141

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

# Disabling symbolic-links is recommended to prevent assorted security risks

symbolic-links=0

[mysqld_safe]

log-error=/var/log/mariadb/mariadb.log

pid-file=/var/run/mariadb/mariadb.pid

编辑完成配置文件my.cnf后，重启MariaDB服务。

[root@db1 ~]# systemctl restart mariad

（4）开放主节点的数据库权限

在主节点db1虚拟机上使用mysql命令登录MariaDB数据库，授权在任何客户端机器上可以以root用户登录到数据库。

[root@db1 ~]# mysql -uroot -p123456

Welcome to the MariaDB monitor. Commands end with ; or \g.

Your MariaDB connection id is 137

Server version: 10.3.18-MariaDB-log MariaDB Server

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> grant all privileges on *.* to root@'%' identified by "123456";

在主节点db1数据库上创建一个user用户让从节点db2连接，并赋予从节点同步主节点数据库的权限，命令如下。

MariaDB [(none)]> grant replication slave on *.* to 'user'@'db2' identified by '123456';

（5）配置从节点db2同步主节点db1

在从节点db2虚拟机上使用mysql命令登录MariaDB数据库，配置从节点连接主节点的连接信息。master_host为主节点主机名db1，master_user为在步骤（4）中创建的用户user，命令如下。

[root@db2 ~]# mysql -uroot -p123456

Welcome to the MariaDB monitor. Commands end with ; or \g.

Your MariaDB connection id is 88

Server version: 10.3.18-MariaDB-log MariaDB Server

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> change master to master_host='db1',master_user='user',master_password='123456';

配置完毕主从数据库之间的连接信息之后，开启从节点服务。使用show slave status\G; 命令并查看从节点服务状态，如果Slave_IO_Running和Slave_SQL_Running的状态都为YES，则从节点服务开启成功。

MariaDB [(none)]> start slave;

MariaDB [(none)]> show slave status\G;

（6）验证主从数据库的同步功能

先在主节点db1的数据库中创建库test，并在库test中创建表company，插入表数据。创建完成后，查看表company数据，如下所示。

MariaDB [(none)]> create database test;

Query OK, 1 row affected (0.001 sec)

MariaDB [(none)]> use test

Database changed

MariaDB [test]> create table company(id int not null primary key,name varchar(50),addr varchar(255));

Query OK, 0 rows affected (0.165 sec)

MariaDB [test]> insert into company values(1,"facebook","usa");

Query OK, 1 row affected (0.062 sec)

MariaDB [test]> select * from company;

+----+----------+------+

| id | name | addr |

+----+----------+------+

| 1 | facebook | usa |

+----+----------+------+

1 row in set (0.000 sec)

这时从节点db2的数据库就会同步主节点数据库创建的test库，可以在从节点查询test数据库与表company，如果可以查询到信息，就能验证主从数据库集群功能在正常运行。查询结果如下所示。

MariaDB [(none)]> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| mysql |

| performance_schema |

| test |

+--------------------+

4 rows in set (0.001 sec)

MariaDB [(none)]> select * from test.company;

+----+----------+------+

| id | name | addr |

+----+----------+------+

| 1 | facebook | usa |

+----+----------+------+

1 row in set (0.001 sec)

（6）验证主从数据库的同步功能

先在主节点db1的数据库中创建库test，并在库test中创建表company，插入表数据。创建完成后，查看表company数据，如下所示。

MariaDB [(none)]> create database test;

Query OK, 1 row affected (0.001 sec)

MariaDB [(none)]> use test

Database changed

MariaDB [test]> create table company(id int not null primary key,name varchar(50),addr varchar(255));

Query OK, 0 rows affected (0.165 sec)

MariaDB [test]> insert into company values(1,"facebook","usa");

Query OK, 1 row affected (0.062 sec)

MariaDB [test]> select * from company;

+----+----------+------+

| id | name | addr |

+----+----------+------+

| 1 | facebook | usa |

+----+----------+------+

1 row in set (0.000 sec)

MariaDB [(none)]> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

| mysql |

| performance_schema |

| test |

+--------------------+

4 rows in set (0.001 sec)

MariaDB [(none)]> select * from test.company;

+----+----------+------+

| id | name | addr |

+----+----------+------+

| 1 | facebook | usa |

+----+----------+------+

1 row in set (0.001 sec)

在 mycat 服务器上使用提供的 Mycat 包来安装 Mycat 服务。

# 下载 Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
# sudo wget https://moka.anitsuri.top/images/mycat_db/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
# 解压到 /usr/local，并赋予权限
# sudo tar -zxf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/
# sudo chown -R 777 /usr/local/mycat/

# 给 mycat 添加到系统变量中并生效系统变量
# echo MYCAT_HOME=/usr/local/mycat/ >> /etc/profile
# source /etc/profile

部署 mycat 服务

编辑 mycat 的配置文件

配置 mycat 服务读写分离的 schema.xml 配置文件在 /usr/local/mycat/conf/ 目录下

$ sudo vi /usr/local/mycat/conf/schema.xml

# 修改成以下内容
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    
    <schema name="gpmall" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>

    
    <dataNode name="dn1" dataHost="localhost1" database="gpmall"></dataNode>

    
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3"
              dbType="mysql" dbDriver="native" writeType="0" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>

        
        <writeHost host="hostM1" url="192.168.104.131:3306" user="root" password="123456">
            
            <readHost host="hostS1" url="192.168.104.132:3306" user="root" password="123456"></readHost>
        </writeHost>
    </dataHost>
</mycat:schema>

注：

sqlMaxLimit：配置默认查询数量

database：配置真实数据库名

balance="0"：不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上

balance="1"：全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡

balance="2"：所有读操作都随机的在 writeHost、readHost 上分发

balance="3"：所有读请求随机地分发到 writeHost 对应的 readHost 执行，writeHost 不负担读压力（注：这个东西只在 1.4 及其之后的版本才有，1.3 之前的版本都没有）

writeType="0"：所有写操作发送配置的第一个 writeHost，第一个挂了需要切换到还生存的第二个 writeHost，重新启动后以切换后的为准，切换记录在配置文件 dnindex.properties 中注：

sqlMaxLimit：配置默认查询数量

database：配置真实数据库名

balance="0"：不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上

balance="1"：全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡

balance="2"：所有读操作都随机的在 writeHost、readHost 上分发

writeType="0"：所有写操作发送配置的第一个 writeHost，第一个挂了需要切换到还生存的第二个 writeHost，重新启动后以切换后的为准，切换记录在配置文件 dnindex.properties 中

然后修改 schema.xml 的用户权限

# sudo chown root.root /usr/local/mycat/conf/schema.xml

编辑 mycat 的访问用户

修改 /usr/local/mycat/conf 目录下的 server.xml 文件，修改 root 用户的访问密码与数据库，密码设置为 123456，访问 MyCat 的逻辑库为 gpmall

$ sudo vi /usr/local/mycat/conf/server.xml

# 在文件的最后部分修改
              <user name="root">
                <property name="password">123456</property>
                <property name="schemas">gpmall</property>
        </user>

# 在文件的最后删除掉
<user name="user">
              <property name="password">user</property>
              <property name="schemas">TESTDB</property>
              <property name="readOnly">true</property>
</user>

最后 /usr/local/mycat/conf/server.xml 最后部分将会变成这个样子

# sudo tail -16 /usr/local/mycat/conf/server.xml
<user name="root">
              <property name="password">123456</property>
              <property name="schemas">gpmall</property>

              
              
       </user>

</mycat:server>

启动 mycat 服务

# 启动 MyCat 数据库中间件服务
$ sudo /bin/bash /usr/local/mycat/bin/mycat start

# 安装 net-tools，以便后续使用 netstat
$ sudo yum install -y net-tools

# 查看 8066 和 9066 端口是否开放，如果开放则说明 MyCat 服务开启成功
$ netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      568/rpcbind
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1536/sshd
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1041/master
tcp        0      0 127.0.0.1:32000         0.0.0.0:*               LISTEN      16487/java
tcp6       0      0 :::111                  :::*                    LISTEN      568/rpcbind
tcp6       0      0 :::34966                :::*                    LISTEN      16487/java
tcp6       0      0 :::22                   :::*                    LISTEN     1536/sshd
tcp6       0      0 ::1:25                  :::*                    LISTEN      1041/master
tcp6       0      0 :::1984                 :::*                    LISTEN      16487/java
tcp6       0      0 :::8066                 :::*                    LISTEN      16487/java
tcp6       0      0 :::37093                :::*                    LISTEN      16487/java
tcp6       0      0 :::9066                 :::*                    LISTEN      16487/java

在 zookeeper1、zookeeper2、zookeeper3 服务器上使用提供的 ZooKeeper 和 Kafka 包来安装 ZooKeeper 和 Kafka 服务

安装 ZooKeeper

# sudo wget https://moka.anitsuri.top/images/gpmall/zookeeper-3.4.14.tar.gz
# tar -zxf zookeeper-3.4.14.tar.gz
# 安装 Kafka
# sudo wget https://moka.anitsuri.top/images/gpmall/kafka_2.11-1.1.1.tgz
# sudo tar -zxf kafka_2.11-1.1.1.tgz

部署 ZooKeeper 集群服务

修改 ZooKeeper 配置文件

在 zookeeper1、zookeeper2、zookeeper3 上都修改

# cd zookeeper-3.4.14/conf/
# sudo mv zoo_sample.cfg zoo.cfg
# sudo vi zoo.cfg
# 在下面加入
server.1=192.168.184.180:2888:3888
server.2=192.168.184.101:2888:3888
server.3=192.168.184.102:2888:3888

# zoo.cfg 的全部内容如下
$ cat zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.1=192.168.104.133:2888:3888
server.2=192.168.104.134:2888:3888
server.3=192.168.104.135:2888:3888

内容解析

tickTime：tickTime 是 initLimit 和 syncLimit 两个超时配置的基本单位，例如对于 initLimit，其配置值为 5 ，且 tickTime 为 2000 时，则说明其超时时间为 2000ms × 5 =10s

initLimit：ZooKeeper 集群模式下包含多个 zk 进程（zk 进程： ZooKeeper 集群中的各个服务器进程），其中一个进程为 leader，余下的进程为 follower

当 follower 最初与 leader 建立连接时，他们之间会传输相当多的数据，尤其是 follower 的数据落后 leader 很多

initLimit 配置 follower 与 leader 之间建立连接后进行同步的最长时间

syncLimit：配置 follower 与 leader 之间发送消息，请求与应答的最大时间长度

dataDir：用于指定 ZooKeeper 存储数据的目录，包括事务日志和快照（snapshot）

在集群模式下，这个目录还包含一个 myid 文件，用于标识每个节点的唯一身份（ID），myid 文件的内容只有一行，且内容只能为 1~255 之间的数字，这个数字即为 <server.id> 中的 ID，表示 zk 进程的 ID

<server.id>=<host>:<port1>:<port2>：

<server.id>：这是一个数字，表示 ZooKeeper 集群中每个节点的唯一标识（ID）。这个 ID 需要与对应节点的 myid 文件中的内容一致。

<host>：这个字段指定了节点的IP地址。在集群内部通信时，通常使用内网IP。

<port1>：这是集群中 follower 和 leader 之间进行消息交换的端口。ZooKeeper 集群中，follower 节点通过这个端口与 leader 节点进行数据同步和其他通信。

<port2>：这是用于 leader 选举的端口。当集群中的节点需要选举新的 leader 时，它们通过这个端口进行通信。

创建myid文件

在3台机器dataDir目录（此处为/tmp/zookeeper）下，分别创建一个myid文件，文件内容分别只有一行，其内容为1，2，3。即文件中只有一个数字，这个数字即为上面zoo.cfg配置文件中指定的值。ZooKeeper是根据该文件来决定ZooKeeper集群各个机器的身份分配。

创建myid文件，命令如下：

zookeeper1节点：

[root@zookeeper1 ~]# mkdir /tmp/zookeeper

[root@zookeeper1 ~]# vi /tmp/zookeeper/myid

[root@zookeeper1 ~]# cat /tmp/zookeeper/myid

zookeeper2节点：

[root@zookeeper2 ~]# mkdir /tmp/zookeeper

[root@zookeeper2 ~]# vi /tmp/zookeeper/myid

[root@zookeeper2 ~]# cat /tmp/zookeeper/myid

zookeeper3节点：

[root@zookeeper3 ~]# mkdir /tmp/zookeeper

[root@zookeeper3 ~]# vi /tmp/zookeeper/myid

[root@zookeeper3 ~]# cat /tmp/zookeeper/myid