Flink1.11.0+Kafka2.3.0+MySQL8的快速安装部署

环境准备

本实战演示环节需要安装到Linux虚拟机的服务，包括：

• Flink 集群：用来运行 Flink 任务。
• Kafka 集群：用来作为数据源。
• MySQL 数据库：用来作为结果表。

虚拟机最好是CenOs7以上的版本，这样会支持docker，后续一些组件可以采用docker的方式部署

特别说明

如果我们平时是用本机window编写IDEA，可以不用着急安装虚拟机上面的Flink

Flink 集群安装

1. 下载 Flink 1.11.0 安装包并解压（解压目录 flink-1.11.0）：https://www.apache.org/dist/flink/flink-1.11.0/flink-1.11.0-bin-scala_2.11.tgz
2. 下载以下依赖 jar 包，并拷贝到 flink-1.11.0/lib/ 目录下。因为我们运行时需要依赖各个 connector 实现。可以在GitHub上面下载 https://github.com/peigenxiao/my-flink-project/tree/master/flinklib
3. 将 flink-1.11.0/conf/flink-conf.yaml 中的 taskmanager.numberOfTaskSlots 修改成 10，因为我们的演示任务可能会消耗多于1个的 slot。
4. 执行 flink-1.11.0/bin/start-cluster.sh，启动集群。

运行成功的话，可以在 http://localhost:8081 访问到 Flink Web UI。

Kafka 本地集群安装

下载 Kafka 2.3.0 安装包并解压：https://www.apache.org/dist/kafka/2.3.0/kafka_2.11-2.3.0.tgz

1. 在 flink-sql-submit 目录下运行 ./start-kafka.sh 启动 Kafka 集群。

2. 在命令行执行 jps，如果看到 Kafka 进程和 QuorumPeerMain 进程即表明启动成功。

MySQL 安装

• 可以在官方页面下载 MySQL 并安装。
• 如果有 Docker 环境的话，也可以直接通过 Docker 安装。(通过docker默认安装是8版本的MySQL)

$ docker pull mysql $ docker run --name mysqldb -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql

 

因为通过docker默认安装是最新版本的8以上的MySQL，我们一般情况下会使用本机IDEA编写程序测试，相当于要远程访问虚拟机上面的MySQL，所以还需要进一步配置：

MySQL8.0允许外部访问

https://www.cnblogs.com/ningy1009/p/12806748.html