配置kafka与spark连接

一、配置kafka

首先进到software目录当中，如下图所示：

安装包上传/解压/重命名/解压过后的目录如下图所示：

修改配置：

·cd config

·vi server.properties

全部修改语句如下所示（以node01为样例）：

broker.id=0    从0 开始 ，0  1  2 delete.topic.enable=true   //这条在文件中没有，手动添加，默认主题不允许删除 listeners=PLAINTEXT://node01:9092 log.dirs=/root/kafkadata    // 数据存放的目录，会自动生成，不需要创建 num.partitions=3 zookeeper.connect=node01:2181,node02:2181,node03:2181

返回到software目录里面：

分发kafka的安装包，到其他的节点中：

scp -r kafka node02:$PWD scp -r kafka node03:$PWD

在其他的节点上，修改broker.id 和 listeners中的主机名。

启动kafka集群

启动脚本和停止脚本命令。

kafka-server-start.sh

kafka-server-stop.sh

以后台守护进程启动：

kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

注意： 在启动kafka之前，必须先启动zookeeper。

bin/zkServer.sh start

Kafka.sh：一键启动和关闭kafka集群。

①添加一个kafka环境变量

②node02、node03也进行相同的配置

③进入到当前目录并把kafka.sh也上传进来

④修改一下权限，让它变成绿色的可执行脚本文件

⑤路径和主机名称修改为和自己一致的

⑥试一下一键启动

 安装部署Spark

解压缩文件，并重命名为spark-yarn。

tar zxvf spark-3.0.0-bin-hadoop3.2.tgz

mv spark-3.0.0-bin-hadoop3.2 spark-yarn

1. 修改配置文件

1）修改hadoop配置文件/opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml，并分发给其他节点。

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true

<property>

  <name>yarn.nodemanager.pmem-check-enabled</name>

  <value>false</value>

</property>

2）返回到spark-yarn目录，修改conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置。

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

3）启动HDFS以及Yarn集群

4）提交测试应用

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

查看node01:8088页面

配置历史服务

由于 spark-shell 停止掉后，集群监控 node01:4040 页面就看不到历史任务的运行情况，所以 开发时都配置历史服务器记录任务运行情况。

1)修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2)修改 spark-default.conf 文件，配置日志存储路径

注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。

hdfs dfs -mkdir /directory

3)修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080

-Dspark.history.fs.logDirectory=hdfs://node01:9000/directory

-Dspark.history.retainedApplications=30"

4)开启历史服务，并且重新提交应用

sbin/start-history-server.sh

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10