Flink实时监控mysql数据库

整体架构:

mysql -> canal -> kafka - > flink ->Redis
canal的安装与配置:

硬件准备:MySQL服务器、奇数台(zookeeper/kafka)集群服务器

第一步:业务库的服务器上配置canal监控日志

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

 

第二步:在mysql中创建Canal用户

CREATE USER canal IDENTIFIED BY 'canal';

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES;

 

第三步:Canal下载:https://github.com/alibaba/canal/releases/tag/canal-1.1.5-alpha-2

 

第四步:配置Canal读取mysql操作日志

vim canal/conf/canal.properties

canal.zkServers = zk集群1:2181,zk集群2:2181,zk集群3:2181

canal.serverMode = kafka

canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal

canal.mq.servers = kafka集群1:9092,kafka集群2:9092,kafka集群3:9092

 

vim canal/conf/instance.

canal.instance.master.address=MySQL服务器:3306

canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

canal.mq.topic=kafka的主题名

Kafka的安装与配置

硬件准备:奇数台服务器当做集群

第一步:安装Zookeeper:

      1.ZK下载地址:https://downloads.apache.org/zookeeper/

      2.配置Zk:

          mv /zookeeper-3.5.7/conf/zoo_sample.cfg /zookeeper-3.5.7/conf/zoo.cfg

          mkdir /zookeeper-3.5.7/zkData 

          vim /zookeeper-3.5.7/myid(不同的服务器上不同的myid，用于zk的选举机制。且zk的服务器选取奇数台)

          vim /zookeeper-3.5.7/conf/zoo.cfg

          dataDir=/opt/module/zookeeper-3.5.7/zkData

          server.6=集群1:2888:3888
          server.7=集群2:2888:3888
          server.8=集群3:2888:3888

  第二步:安装kafka

      1.kafka下载:http://archive.apache.org/dist/kafka/

 第三步:配置kafka

      1.vim /kafka/conf/server.properties

      broker.id=6(根据不同的zookeeper的myid进行配置)
      delete.topic.enable=true

      log.dirs=/opt/module/kafka/logs

      zookeeper.connect=集群1:2181,集群2:2181,集群3:2181/kafka

Flink的安装与配置

Redis的安装与配置

一、硬件准备

      服务器(Linux 7.x):xx.xx.xx.181 账号、密码:root、xxxxxx

      Redis的下载:https://redis.io/download 

      Redis的命令查看:http://redisdoc.com

      Redis的版本:redis-4.0.2.tar.gz

二、Redis的安装与配置

      1).上传至服务器并解压:tar -zxvf redis-4.0.2.tar.gz -C /opt/module/
      2).安装C语言环境(Redis是C语言写的):yum install -y gcc-c++
      3).修改安装位置:cd /opt/module/redis-4.0.2/ 
             vim src/Makefile
            修改  PREFIX?=/opt/module/redis
      4).编译安装(redis-4.0.2文件下):   
                   make
                   make install
三、启动Redis服务器(二种方式)
        方式一:直接启动Redis服务器(默认方式)
              cd  /opt/module/redis
              bin/redis-server
       方式二:指定目录启动Redis服务器
             cp /opt/module/redis-4.0.2/redis.conf  ./(在redis目录下)
             vim redis.conf
            daemonize yes #后台启动
            logfile /opt/module/redis/logs
            dir /opt/module/redis
            bin/redis-server ./redis.conf
四、启动Redis客户端
       如果没有修改redis.conf中bind 127.0.0.1
       bin/redis-cli
       如果指定redis的服务器，即修改redis.conf文件中 bind xx.xx.xx.xxx(本机服务器)
       bin/redis-cli -h xx.xx.xx.xxx -p 6379(默认端口号)