MJK祺的博客

根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。

由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。

需要分别修改这两台kafka的config/server.properties文件，将broker.id分别改为 1，2，因为broker.id不能相同。将kafka的gz包上传到虚拟机的/opt/software目录，然后解压到/opt/servers。使用kafka消费者消费test主题的数据 --from-beginning表示从头消费。进入kafka的config目录，修改server.properties文件。可以开两个窗口，一边开启生产者发送消息，一边开启消费者接受消息。

java.net.ConnectException: 拒绝连接 (Connection refused)解决办法：关闭防火墙 systemctl stop firewalld。查看日志信息，显示拒绝连接。再次启动就可以看到状态了。

将下载好的包上传到虚拟机master的/opt/software，然后解压到/opt/servers。1.在slave1进入zookeeper的zkData目录，将myid文件里的内容修改为。2.将/etc/profile分发到slave1，slave2并生效。1.将zookeeper分别分发到slave1，slave2。八.修改myid文件（slave1，slave2）2.slave2同上，将myid内容修改为。将解压后的文件重命名为zookeeper。在三台虚拟机分别启动，启动命令。

(flume的版本是guava-11.0.2.jar，hadoop的是guava-27.0-jre.jar)(hadoop的guava包在$HADOOP_HOME/share/hadoop/common/lib/)：将hadoop的guava包替换掉flume的低版本包即可。flume和hadoop的guava包冲突。然后再运行就不会报错了。

我的压缩包放在了/opt/software，你们根据自己情况修改就行。需要提前安装好JDK，Hadoop,安装过程可以看我上一篇文章。为了方便，我把解压后的文件重命名为flume。

如报以下错误，在环境变量添加以下内容：（添加完成后需分发至slave1，slave2且生效，分发，生效命令上面有）hadoop的配置文件都存放在hadoop目录下的/etc/hadoop，需要修改以下六个文件。从master登录到slave1，登录成功即免密成功。然后再启动,启动后查看各节点进程。