Kafka集群的安装 和安装部署Spark

Kafka集群的安装

首先进到software目录当中

然后将安装包上传上来

解压之后的效果如下图所示，并把原始kafka文件名重命名一下：

上传安装包到集群中，并解压。

利用已有的3台机器：node01、node02、node03

修改配置：

·cd config

·vi server.properties

声明Kafka集群对应的一个编号，0、1、2分别代表node01、node02、node03。

所以此时不用改，一会分发给node02、node03的时候要把这个编号改过来。

0: node01

1: node02

2: node03

·需要修改的第二个地方是

修改为：

（去掉注释，把主机名称改了）

·第三个修改的地方为添加以下语句：

在这里添加：

·修改日志的存放路径：

（Kafkadata目录不需要提前创建，它可以自动创建好。）

在这里找这个路径：

·分区数量修改为3：

·Zookeeper集群中的端口号需要修改：

·全部修改完之后保存并退出：

全部修改语句如下所示（以node01为样例）：

broker.id=0    从0 开始 ，0  1  2 delete.topic.enable=true   //这条在文件中没有，手动添加，默认主题不允许删除 listeners=PLAINTEXT://node01:9092 log.dirs=/root/kafkadata    // 数据存放的目录，会自动生成，不需要创建 num.partitions=3 zookeeper.connect=node01:2181,node02:2181,node03:2181

返回到software目录里面：

分发kafka的安装包，到其他的节点中：

scp -r kafka node02:$PWD scp -r kafka node03:$PWD

在其他的节点上，修改broker.id 和 listeners中的主机名。

1.6启动kafka集群

启动脚本和停止脚本命令。

kafka-server-start.sh

kafka-server-stop.sh

以后台守护进程启动：

kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

注意： 在启动kafka之前，必须先启动zookeeper。

为了使用方便，可以配置环境变量。

Kafka.sh：一键启动和关闭kafka集群。

①添加一个kafka环境变量

②node02、node03也进行相同的配置

③进入到当前目录并把kafka.sh也上传进来

④修改一下权限，让它变成绿色的可执行脚本文件

⑤路径和主机名称修改为和自己一致的

⑥试一下一键启动

 安装部署Spark

• 实验目标：

本节课实验将完成Spark 4种部署模式的另外2种，分别是Yarn、windows模式。

• 实验准备工作：

1. 三台linux虚拟机
2. spark的压缩包

• 实验步骤

Spark-yarn

1. 解压缩文件，并重命名为spark-yarn。

tar zxvf spark-3.0.0-bin-hadoop3.2.tgz

mv spark-3.0.0-bin-hadoop3.2 spark-yarn

2.修改配置文件

1. 修改hadoop配置文件/opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml，并分发给其他节点。

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true

<property>

  <name>yarn.nodemanager.pmem-check-enabled</name>

  <value>false</value>

</property>

1. 返回到spark-yarn目录，修改conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置。

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

1. 启动HDFS以及Yarn集群
2. 提交测试应用

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

查看node01:8088页面