利用SSH实现分布式应用的一键安装部署

置顶 已于 2023-02-03 21:39:33 修改
阅读量574 收藏 2
点赞数 1
分类专栏： # Shell脚本 文章标签： 服务器 多主机部署 脚本 shell 运维
于 2023-01-05 23:47:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42405670/article/details/128555156
版权

1. 一键安装流程步骤

1.1 步骤：

  1. 拷贝安装包到远端主机
  2. 创建安装目录并解压安装包
  3. 格式化磁盘挂着载数据目录
  4. 修改服务配置文件
  5. 启动服务并验证集群运行状态

1.2 服务一键启停及状态监测

2.分布式kafka集群安装部署脚本

2.1 脚本框架

#!/bin/bash

#第一步：关闭firewalld和selinux

#第二步：安装配置JDK

#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.2 多主机执行指令函数封装

#!/bin/bash

HOST_LIST="192.168.126.136 192.168.126.137"

# 多主机执行指令函数封装
function remote_execute
{
        for host in $HOST_LIST;do            
                echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
                if [ $? -eq 0 ];then
                        echo "$CMD_NUM Congratulation.Command < $@ > execute success"
                else
                        echo "$CMD_NUM Sorry.Command < $@ > execute failed"
                fi
        done
}

remote_execute "df -h"
remote_execute "cat /etc/fstab"

#第一步：关闭firewalld和selinux

#第二步：安装配置JDK

#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.3 利用exec 管理安装部署日志

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
        rm -f ./deploy_kafka/log
fi

#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136"
CMD_NUM=0

# 多主机执行指令函数封装
function remote_execute
{
        for host in $HOST_LIST;do
                CMD_NUM=`expr $CMD_NUM + 1`
                echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
                if [ $? -eq 0 ];then
                        echo "$CMD_NUM Congratulation.Command < $@ > execute success"
                else
                        echo "$CMD_NUM Sorry.Command < $@ > execute failed"
                fi
        done
}

remote_execute "df -h"
remote_execute "cat /etc/fstab"

#第一步：关闭firewalld和selinux


#第二步：安装配置JDK

#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.4 实现一键永久关闭 firewalld和selinux

（1）关闭firewall和selinux脚本如下：

#第一步：关闭firewalld和selinux
# 关闭防火墙
remote_execute "systemctl stop firewalld.service"
# 关闭防火墙服务的自启动
remote_execute "systemctl disable firewalld.service"
# 临时关闭防火墙
remote_execute "setenforce 0"    
# 永久关闭防火墙
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

需要先关闭防火墙，并关闭防火墙的开机自启。

临时关闭防火墙：使用 "setenforce 0 "，表示 设置SELinux 成为permissive模式 临时关闭selinux防火墙。
永久关闭防火墙：输入命令vi /etc/selinux/config，将SELINUX=enforcing改为SELINUX=disabled，然后保存退出

（2）完整代码如下：

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
        rm -f ./deploy_kafka/log
fi

#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.137"
CMD_NUM=0

# 多主机执行指令函数封装
function remote_execute
{
        for host in $HOST_LIST;do
                CMD_NUM=`expr $CMD_NUM + 1`
                echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
                if [ $? -eq 0 ];then
                        echo "$CMD_NUM Congratulation.Command < $@ > execute success"
                else
                        echo "$CMD_NUM Sorry.Command < $@ > execute failed"
                fi
        done
}

#remote_execute "df -h"
#remote_execute "cat /etc/fstab"

#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK

#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.5 多主机传输文件函数封装

（1）多主机传输文件函数封装

定义本地源文件存放的路径，定义上传到远程服务器后源文件的存放路径，还需要定义安装软件的路径，最后则是需要定义当前安装的应用包名称。

# 本地文件目录
LOCAL_DIR="/opt/tmp"
# 远程服务器文件路径
PACKAGE_DIR="/opt/package"
# 远程服务器软件按照路径
APP_DIR="/opt/source"
# jdk安装包
JDK_NAME="jdk-8u152-linux-x64.tar.gz"

封装多主机传输文件函数

# 多主机传输文件函数封装
function remote_transfer
{
        SRC_FILE=$1
        DST_DIR=$2
        # 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
        if [ $# -lt 2 ];then
                echo "Usage: $0 <file|dir> <dst_dir>"
                exit 1
        fi

        # 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
        if [ ! -e $SRC_FILE ];then
                echo "ERROR - $SRC_FILE is not exist,Please check..."
                exit 1
        fi

        # 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
        for host in $HOST_LIST;do
                echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
                CMD_NUM=`expr $CMD_NUM + 1`
                # 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
                sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
                if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
                        echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed"
                fi
        done
}

（2）完整代码

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
        rm -f ./deploy_kafka/log
fi

#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.139"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"



# 多主机执行指令函数封装
function remote_execute
{
        for host in $HOST_LIST;do
                CMD_NUM=`expr $CMD_NUM + 1`
                echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
                if [ $? -eq 0 ];then
                        echo "$CMD_NUM Congratulation.Command < $@ > execute success"
                else
                        echo "$CMD_NUM Sorry.Command < $@ > execute failed"
                fi
        done
}

# 多主机传输文件函数封装
function remote_transfer
{
        SRC_FILE=$1
        DST_DIR=$2
        # 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
        if [ $# -lt 2 ];then
                echo "Usage: $0 <file|dir> <dst_dir>"
                exit 1
        fi

        # 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
        if [ ! -e $SRC_FILE ];then
                echo "ERROR - $SRC_FILE is not exist,Please check..."
                exit 1
        fi

        # 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
        for host in $HOST_LIST;do
                echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
                CMD_NUM=`expr $CMD_NUM + 1`
                # 判断第2个参数，远端主机目录是否存在；如果不存在，则创建

                sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
                sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
                if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
                        echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed"
                fi
        done
}

#测试多主机传输文件函数
remote_transfer /etc/fstab /tmp
remote_transfer /tmp/test /mnt/file

#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK


#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.6 安装配置JAVA环境

（1）安装配置Java环境脚本编写

# 上传本机目录下的jdk安装包到远程主机目录
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
# 判断远程主机目录是否有安装路径，没有就创建
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
# 解压远程主机目录下的安装包到安装路径下
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

# 添加环境变量配置，单独创建一个sh文件用来存放环境变量，便于更替，同时也避免了频繁更新 profile 文件的不便
# EOF 命令可以生成文件并从首行追加内容
cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

# 将java.sh文件上传到远程服务器的/etc/profile.d目录下，该目录下存放环境变量配置文件
remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
# 脚本文件中需要使用 source 来使 java.sh 生效，如果使用 sh 命令，就只在当前线程生效，当前脚本线程结束就会失效
remote_execute "source /etc/profile.d/java.sh"
# 查看版本号，若打印则说明jdk安装成功
remote_execute "java -version"

（2）完整代码

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
	rm -f ./deploy_kafka/log
fi

#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"



# 多主机执行指令函数封装
function remote_execute
{
	for host in $HOST_LIST;do
		CMD_NUM=`expr $CMD_NUM + 1`
		echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
		if [ $? -eq 0 ];then
			echo "$CMD_NUM Congratulation.Command < $@ > execute success" 
		else
			echo "$CMD_NUM Sorry.Command < $@ > execute failed"
		fi
	done
}

# 多主机传输文件函数封装
function remote_transfer
{
	SRC_FILE=$1
	DST_DIR=$2
	# 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
	if [ $# -lt 2 ];then
		echo "Usage: $0 <file|dir> <dst_dir>"
		exit 1
	fi
	
	# 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
	if [ ! -e $SRC_FILE ];then
		echo "ERROR - $SRC_FILE is not exist,Please check..."
		exit 1
	fi

	# 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
	for host in $HOST_LIST;do
		echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
		CMD_NUM=`expr $CMD_NUM + 1`
		# 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
		
 		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
		sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
		if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
       			echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed" 
		fi
	done
}


#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
remote_execute "source /etc/profile.d/java.sh"
remote_execute "java -version"


#第三步：安装配置zookeeper，并启动服务

#第四步：安装配置kafka，并启动服务

2.7 安装配置 zookeeper 代码实现

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
	rm -f ./deploy_kafka/log
fi
set -e
#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.137 192.168.126.138"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"
ZK_NAME="apache-zookeeper-3.7.1-bin.tar.gz"


# 多主机执行指令函数封装
function remote_execute
{
	for host in $HOST_LIST;do
		CMD_NUM=`expr $CMD_NUM + 1`
		echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
		if [ $? -eq 0 ];then
			echo "$CMD_NUM Congratulation.Command < $@ > execute success" 
		else
			echo "$CMD_NUM Sorry.Command < $@ > execute failed"
		fi
	done
}

# 多主机传输文件函数封装
function remote_transfer
{
	SRC_FILE=$1
	DST_DIR=$2
	# 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
	if [ $# -lt 2 ];then
		echo "Usage: $0 <file|dir> <dst_dir>"
		exit 1
	fi
	
	# 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
	if [ ! -e $SRC_FILE ];then
		echo "ERROR - $SRC_FILE is not exist,Please check..."
		exit 1
	fi

	# 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
	for host in $HOST_LIST;do
		echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
		CMD_NUM=`expr $CMD_NUM + 1`
		# 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
		
 		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
		sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
		if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
       			echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed" 
		fi
	done
}


#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
#remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
remote_execute "source /etc/profile.d/java.sh"
remote_execute "java -version"


#第三步：安装配置zookeeper，并启动服务
remote_transfer $LOCAL_DIR/$ZK_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$ZK_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/zookeeper ];then rm -f $APP_DIR/zookeeper;fi"
remote_execute "ln -sv $APP_DIR/apache-zookeeper-3.7.1-bin $APP_DIR/zookeeper"

remote_execute "cp $APP_DIR/zookeeper/conf/zoo_sample.cfg $APP_DIR/zookeeper/conf/zoo.cfg"

touch $LOCAL_DIR/zoo_tmp.conf
cat > $LOCAL_DIR/zoo_tmp.conf << EOF
server.1=192.168.126.136:2888:3888
server.2=192.168.126.137:2888:3888
server.3=192.168.126.138:2888:3888
EOF

remote_transfer $LOCAL_DIR/zoo_tmp.conf /tmp
remote_execute "cat /tmp/zoo_tmp.conf >> $APP_DIR/zookeeper/conf/zoo.cfg"

remote_execute "if [ -e /data/zk ];then rm -rf /data/zk; fi"
remote_execute "mkdir /data/zk -p"
remote_execute "sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/data\/zk/g' $APP_DIR/zookeeper/conf/zoo.cfg"

#将myid写入到远端主机myid文件上
#这里的if方法使用的是单引号，原因是单引号可以忽略所有的字符；双引号会把 hostname 当成变量，在当前服务器就执行了，导致在执行时，hostname 会变成 linkhost02，而不是获取的远端主机的 hostname。
remote_execute 'if [ `hostname` == "linkhot02" ];then echo 1 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot03" ];then echo 2 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot04" ];then echo 3 > /data/zk/myid;fi'
# 查询远端主机的QuorumPeerMain进程id号，用来杀死当前已启动的zookeeper进程。
remote_execute "jps | grep QuorumPeerMain | grep -v grep | awk '{print $1}' > /tmp/zk.pid"
remote_execute 'if [ -s /tmp/zk.pid ];then kill -9 `cat /tmp/zk.pid`;fi'
# 在保证没有zk进程运行的前提下，启动zookeeper服务
remote_execute "$APP_DIR/zookeeper/bin/zkServer.sh start"


#第四步：安装配置kafka，并启动服务

2.8 安装配置scala代码实现

（1）安装scala代码

# scala安装包
SCALA_NAME="scala-2.12.11.tgz"

……

#第四步：安装配置scala服务
# 上传scala安装包到远程目录，并解压
remote_transfer $LOCAL_DIR/$SCALA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$SCALA_NAME -C $APP_DIR"

# 创建环境变量文件
cat > $LOCAL_DIR/scala.sh << EOF
export SCALA_HOME=$APP_DIR/scala-2.12.11
export PATH=\$PATH:\$SCALA_HOME/bin
export SCALA_HOME PATH
EOF

# 上传环境变量文件到远程目录，并执行source命令使之生效，查询版本信息
remote_transfer $LOCAL_DIR/scala.sh /etc/profile.d/
remote_execute "source /etc/profile.d/scala.sh"
remote_execute "scala -version"

（2）完整代码

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
	rm -f ./deploy_kafka/log
fi
set -e
#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.137 192.168.126.138"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"
ZK_NAME="apache-zookeeper-3.7.1-bin.tar.gz"
SCALA_NAME="scala-2.12.11.tgz"

# 多主机执行指令函数封装
function remote_execute
{
	for host in $HOST_LIST;do
		CMD_NUM=`expr $CMD_NUM + 1`
		echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
		if [ $? -eq 0 ];then
			echo "$CMD_NUM Congratulation.Command < $@ > execute success" 
		else
			echo "$CMD_NUM Sorry.Command < $@ > execute failed"
		fi
	done
}

# 多主机传输文件函数封装
function remote_transfer
{
	SRC_FILE=$1
	DST_DIR=$2
	# 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
	if [ $# -lt 2 ];then
		echo "Usage: $0 <file|dir> <dst_dir>"
		exit 1
	fi
	
	# 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
	if [ ! -e $SRC_FILE ];then
		echo "ERROR - $SRC_FILE is not exist,Please check..."
		exit 1
	fi

	# 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
	for host in $HOST_LIST;do
		echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
		CMD_NUM=`expr $CMD_NUM + 1`
		# 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
		
 		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
		sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
		if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
       			echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed" 
		fi
	done
}


#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
#remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
remote_execute "source /etc/profile.d/java.sh"
remote_execute "java -version"


#第三步：安装配置zookeeper，并启动服务
remote_transfer $LOCAL_DIR/$ZK_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$ZK_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/zookeeper ];then rm -f $APP_DIR/zookeeper;fi"
remote_execute "ln -sv $APP_DIR/apache-zookeeper-3.7.1-bin $APP_DIR/zookeeper"

remote_execute "cp $APP_DIR/zookeeper/conf/zoo_sample.cfg $APP_DIR/zookeeper/conf/zoo.cfg"

touch $LOCAL_DIR/zoo_tmp.conf
cat > $LOCAL_DIR/zoo_tmp.conf << EOF
server.1=192.168.126.136:2888:3888
server.2=192.168.126.137:2888:3888
server.3=192.168.126.138:2888:3888
EOF

remote_transfer $LOCAL_DIR/zoo_tmp.conf /tmp
remote_execute "cat /tmp/zoo_tmp.conf >> $APP_DIR/zookeeper/conf/zoo.cfg"

remote_execute "if [ -e /data/zk ];then rm -rf /data/zk; fi"
remote_execute "mkdir /data/zk -p"
remote_execute "sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/data\/zk/g' $APP_DIR/zookeeper/conf/zoo.cfg"

#将myid写入到远端主机myid文件上
#这里的if方法使用的是单引号，原因是单引号可以忽略所有的字符；双引号会把 hostname 当成变量，在当前服务器就执行了，导致在执行时，hostname 会变成 linkhost02，而不是获取的远端主机的 hostname。
remote_execute 'if [ `hostname` == "linkhot02" ];then echo 1 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot03" ];then echo 2 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot04" ];then echo 3 > /data/zk/myid;fi'
# 查询远端主机的QuorumPeerMain进程id号，用来杀死当前已启动的zookeeper进程。
remote_execute "jps | grep QuorumPeerMain | grep -v grep | awk '{print $1}' > /tmp/zk.pid"
remote_execute 'if [ -s /tmp/zk.pid ];then kill -9 `cat /tmp/zk.pid`;fi'
# 在保证没有zk进程运行的前提下，启动zookeeper服务
remote_execute "$APP_DIR/zookeeper/bin/zkServer.sh start"


#第四步：安装配置scala服务
remote_transfer $LOCAL_DIR/$SCALA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$SCALA_NAME -C $APP_DIR"

cat > $LOCAL_DIR/scala.sh << EOF
export SCALA_HOME=$APP_DIR/scala-2.12.11
export PATH=\$PATH:\$SCALA_HOME/bin
export SCALA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/scala.sh /etc/profile.d/
remote_execute "source /etc/profile.d/scala.sh"
remote_execute "scala -version"

# 第五步：按照配置kafka，并启动服务

2.9 安装配置kafka代码实现

（1）安装kafka代码实现

KAFKA_NAME="kafka_2.11-0.11.0.2.tgz"

……

# 第五步：按照配置kafka，并启动服务
remote_transfer $LOCAL_DIR/$KAFKA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$KAFKA_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/kafka ];then rm -rf $APP_DIR/kafka;fi"
remote_execute "ln -sv $APP_DIR/kafka_2.11-0.11.0.2 $APP_DIR/kafka"

remote_execute "if [ -e /data/kafka/log ];then rm -rf /data/kafka/log;fi"
remote_execute "mkdir -p /data/kafka/log"

remote_execute "sed -i '/zookeeper.connect=localhost:2181/d' $APP_DIR/kafka/config/server.properties"
remote_execute "sed -i '\$azookeeper.connect=192.168.126.136:2181,192.168.126.137:2181,192.168.126.138:2181' $APP_DIR/kafka/config/server.properties"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i 's/broker.id=0/broker.id=100/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i 's/broker.id=0/broker.id=101/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i 's/broker.id=0/broker.id=102/g' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.136:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.137:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.138:9092' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "sed -i 's/log.dirs=\/tmp\/kafka-logs/log.dirs=\/data\/kafka\/log/g' $APP_DIR/kafka/config/server.properties"

remote_execute "jps | grep kafka | grep -v grep | awk '{print \$1}' > /tmp/kafka.pid"
remote_execute "if [ -s /tmp/kafka.pid ];then kill -9 \`cat /tmp/kafka.pid\`;fi"

remote_execute "$APP_DIR/kafka/bin/kafka-server-start.sh -daemon $APP_DIR/kafka/config/server.properties"

（2）完整代码

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
	rm -f ./deploy_kafka/log
fi
set -e
#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.137 192.168.126.138"
#HOST_LIST="192.168.126.138"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"
ZK_NAME="apache-zookeeper-3.7.1-bin.tar.gz"
SCALA_NAME="scala-2.12.11.tgz"
KAFKA_NAME="kafka_2.11-0.11.0.2.tgz"

# 多主机执行指令函数封装
function remote_execute
{
	for host in $HOST_LIST;do
		CMD_NUM=`expr $CMD_NUM + 1`
		echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
		if [ $? -eq 0 ];then
			echo "$CMD_NUM Congratulation.Command < $@ > execute success" 
		else
			echo "$CMD_NUM Sorry.Command < $@ > execute failed"
		fi
	done
}

# 多主机传输文件函数封装
function remote_transfer
{
	SRC_FILE=$1
	DST_DIR=$2
	# 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
	if [ $# -lt 2 ];then
		echo "Usage: $0 <file|dir> <dst_dir>"
		exit 1
	fi
	
	# 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
	if [ ! -e $SRC_FILE ];then
		echo "ERROR - $SRC_FILE is not exist,Please check..."
		exit 1
	fi

	# 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
	for host in $HOST_LIST;do
		echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
		CMD_NUM=`expr $CMD_NUM + 1`
		# 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
		
 		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
		sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
		if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
       			echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed" 
		fi
	done
}


#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
#remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
remote_execute "source /etc/profile.d/java.sh"
remote_execute "java -version"


#第三步：安装配置zookeeper，并启动服务
remote_transfer $LOCAL_DIR/$ZK_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$ZK_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/zookeeper ];then rm -f $APP_DIR/zookeeper;fi"
remote_execute "ln -sv $APP_DIR/apache-zookeeper-3.7.1-bin $APP_DIR/zookeeper"

remote_execute "cp $APP_DIR/zookeeper/conf/zoo_sample.cfg $APP_DIR/zookeeper/conf/zoo.cfg"

touch $LOCAL_DIR/zoo_tmp.conf
cat > $LOCAL_DIR/zoo_tmp.conf << EOF
server.1=192.168.126.136:2888:3888
server.2=192.168.126.137:2888:3888
server.3=192.168.126.138:2888:3888
EOF

remote_transfer $LOCAL_DIR/zoo_tmp.conf /tmp
remote_execute "cat /tmp/zoo_tmp.conf >> $APP_DIR/zookeeper/conf/zoo.cfg"

remote_execute "if [ -e /data/zk ];then rm -rf /data/zk; fi"
remote_execute "mkdir /data/zk -p"
remote_execute "sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/data\/zk/g' $APP_DIR/zookeeper/conf/zoo.cfg"

#将myid写入到远端主机myid文件上
#这里的if方法使用的是单引号，原因是单引号可以忽略所有的字符；双引号会把 hostname 当成变量，在当前服务器就执行了，导致在执行时，hostname 会变成 linkhost02，而不是获取的远端主机的 hostname。
remote_execute 'if [ `hostname` == "linkhot02" ];then echo 1 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot03" ];then echo 2 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot04" ];then echo 3 > /data/zk/myid;fi'
# 查询远端主机的QuorumPeerMain进程id号，用来杀死当前已启动的zookeeper进程。
remote_execute "jps | grep QuorumPeerMain | grep -v grep | awk '{print $1}' > /tmp/zk.pid"
remote_execute 'if [ -s /tmp/zk.pid ];then kill -9 `cat /tmp/zk.pid`;fi'
# 在保证没有zk进程运行的前提下，启动zookeeper服务
remote_execute "$APP_DIR/zookeeper/bin/zkServer.sh start"


#第四步：安装配置scala服务
remote_transfer $LOCAL_DIR/$SCALA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$SCALA_NAME -C $APP_DIR"

cat > $LOCAL_DIR/scala.sh << EOF
export SCALA_HOME=$APP_DIR/scala-2.12.11
export PATH=\$PATH:\$SCALA_HOME/bin
export SCALA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/scala.sh /etc/profile.d/
remote_execute "source /etc/profile.d/scala.sh"
remote_execute "scala -version"

# 第五步：按照配置kafka，并启动服务
remote_transfer $LOCAL_DIR/$KAFKA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$KAFKA_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/kafka ];then rm -rf $APP_DIR/kafka;fi"
remote_execute "ln -sv $APP_DIR/kafka_2.11-0.11.0.2 $APP_DIR/kafka"

remote_execute "if [ -e /data/kafka/log ];then rm -rf /data/kafka/log;fi"
remote_execute "mkdir -p /data/kafka/log"

remote_execute "sed -i '/zookeeper.connect=localhost:2181/d' $APP_DIR/kafka/config/server.properties"
remote_execute "sed -i '\$azookeeper.connect=192.168.126.136:2181,192.168.126.137:2181,192.168.126.138:2181' $APP_DIR/kafka/config/server.properties"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i 's/broker.id=0/broker.id=100/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i 's/broker.id=0/broker.id=101/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i 's/broker.id=0/broker.id=102/g' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.136:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.137:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.138:9092' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "sed -i 's/log.dirs=\/tmp\/kafka-logs/log.dirs=\/data\/kafka\/log/g' $APP_DIR/kafka/config/server.properties"

remote_execute "jps | grep kafka | grep -v grep | awk '{print \$1}' > /tmp/kafka.pid"
remote_execute "if [ -s /tmp/kafka.pid ];then kill -9 \`cat /tmp/kafka.pid\`;fi"

remote_execute "$APP_DIR/kafka/bin/kafka-server-start.sh -daemon $APP_DIR/kafka/config/server.properties"

2.10 验证 kafka 集群运行状态

sleep 30

remote_execute "if [ `hostname` == "linkhot02" ];then $APP_DIR/kafka/bin/kafka-topic.sh --zookeeper localhost --create --topic test --partitions 5 --relication-factor=2;fi"

sleep 5

remote_execute "if [ \`hostname\` == "node01" ];then $APP_DIR/kafka/bin/kafka-topics.sh --zookeeper localhost  --topic test --describe;fi"

如下图，kafka的 topic 创建成功执行了。

2.11 最终版不熟脚本

#!/bin/bash
#

#删除旧日志
if [ -e ./deploy_kafka.log ];then
	rm -f ./deploy_kafka/log
fi
set -e
#实现将echo语句重定向到log中，就不需要每个echo都进行输出
exec 1>> ./deploy_kafka.log 2>&1

HOST_LIST="192.168.126.136 192.168.126.137 192.168.126.138"
#HOST_LIST="192.168.126.138"
CMD_NUM=0
LOCAL_DIR="/opt/tmp"
PACKAGE_DIR="/opt/package"
APP_DIR="/opt/source"
JDK_NAME="jdk-8u152-linux-x64.tar.gz"
ZK_NAME="apache-zookeeper-3.7.1-bin.tar.gz"
SCALA_NAME="scala-2.12.11.tgz"
KAFKA_NAME="kafka_2.11-0.11.0.2.tgz"

# 多主机执行指令函数封装
function remote_execute
{
	for host in $HOST_LIST;do
		CMD_NUM=`expr $CMD_NUM + 1`
		echo "++++++++++Execute Command < $@ > ON Host: $host +++++++++++"
		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host $@
		if [ $? -eq 0 ];then
			echo "$CMD_NUM Congratulation.Command < $@ > execute success" 
		else
			echo "$CMD_NUM Sorry.Command < $@ > execute failed"
		fi
	done
}

# 多主机传输文件函数封装
function remote_transfer
{
	SRC_FILE=$1
	DST_DIR=$2
	# 函数必须有2个参数，第一个参数是本地文件或目录，第二个参数为远端主机目录
	if [ $# -lt 2 ];then
		echo "Usage: $0 <file|dir> <dst_dir>"
		exit 1
	fi
	
	# 判断第1个参数是否存在，如果不存在则直接退出并提示给用户
	if [ ! -e $SRC_FILE ];then
		echo "ERROR - $SRC_FILE is not exist,Please check..."
		exit 1
	fi

	# 判断第2个参数，远端主机目录是否存在，如果不存在，则创建
	for host in $HOST_LIST;do
		echo "++++++++++++++++Transfer File To HOST: $host ++++++++++++++++"
		CMD_NUM=`expr $CMD_NUM + 1`
		# 判断第2个参数，远端主机目录是否存在；如果不存在，则创建
		
 		sshpass -p root ssh -o StrictHostKeyChecking=no root@$host "if [ ! -e $DST_DIR ];then mkdir $DST_DIR -p;fi"
		sshpass -p root scp -o StrictHostKeyChecking=no $SRC_FILE root@$host:$DST_DIR/
		if [ $? -eq 0 ];then
                        echo "Remote Host: $host - $CMD_NUM - INFO - SCP $SRC_FILE To dir $DST_DIR Success"
                else
       			echo "Remote Host: $host - $CMD_NUM - ERROR - SCP $SRC_FILE To dir $DST_DIR Failed" 
		fi
	done
}


#第一步：关闭firewalld和selinux
remote_execute "systemctl stop firewalld.service"
remote_execute "systemctl disable firewalld.service"
#remote_execute "setenforce 0"
remote_execute "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux"

#第二步：安装配置JDK
remote_transfer $LOCAL_DIR/$JDK_NAME $PACKAGE_DIR
remote_execute "if [ ! -d $APP_DIR ];then mkdir -p $APP_DIR;fi"
remote_execute "tar zxvf $PACKAGE_DIR/$JDK_NAME -C $APP_DIR"

cat > $LOCAL_DIR/java.sh << EOF
export JAVA_HOME=/opt/source/jdk1.8.0_152
export PATH=\$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
export JAVA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/java.sh /etc/profile.d/
remote_execute "source /etc/profile.d/java.sh"
remote_execute "java -version"


#第三步：安装配置zookeeper，并启动服务
remote_transfer $LOCAL_DIR/$ZK_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$ZK_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/zookeeper ];then rm -f $APP_DIR/zookeeper;fi"
remote_execute "ln -sv $APP_DIR/apache-zookeeper-3.7.1-bin $APP_DIR/zookeeper"

remote_execute "cp $APP_DIR/zookeeper/conf/zoo_sample.cfg $APP_DIR/zookeeper/conf/zoo.cfg"

touch $LOCAL_DIR/zoo_tmp.conf
cat > $LOCAL_DIR/zoo_tmp.conf << EOF
server.1=192.168.126.136:2888:3888
server.2=192.168.126.137:2888:3888
server.3=192.168.126.138:2888:3888
EOF

remote_transfer $LOCAL_DIR/zoo_tmp.conf /tmp
remote_execute "cat /tmp/zoo_tmp.conf >> $APP_DIR/zookeeper/conf/zoo.cfg"

remote_execute "if [ -e /data/zk ];then rm -rf /data/zk; fi"
remote_execute "mkdir /data/zk -p"
remote_execute "sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/data\/zk/g' $APP_DIR/zookeeper/conf/zoo.cfg"

#将myid写入到远端主机myid文件上
#这里的if方法使用的是单引号，原因是单引号可以忽略所有的字符；双引号会把 hostname 当成变量，在当前服务器就执行了，导致在执行时，hostname 会变成 linkhost02，而不是获取的远端主机的 hostname。
remote_execute 'if [ `hostname` == "linkhot02" ];then echo 1 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot03" ];then echo 2 > /data/zk/myid;fi'
remote_execute 'if [ `hostname` == "linkhot04" ];then echo 3 > /data/zk/myid;fi'
# 查询远端主机的QuorumPeerMain进程id号，用来杀死当前已启动的zookeeper进程。
remote_execute "jps | grep QuorumPeerMain | grep -v grep | awk '{print $1}' > /tmp/zk.pid"
remote_execute 'if [ -s /tmp/zk.pid ];then kill -9 `cat /tmp/zk.pid`;fi'
# 在保证没有zk进程运行的前提下，启动zookeeper服务
remote_execute "$APP_DIR/zookeeper/bin/zkServer.sh start"


#第四步：安装配置scala服务
remote_transfer $LOCAL_DIR/$SCALA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$SCALA_NAME -C $APP_DIR"

cat > $LOCAL_DIR/scala.sh << EOF
export SCALA_HOME=$APP_DIR/scala-2.12.11
export PATH=\$PATH:\$SCALA_HOME/bin
export SCALA_HOME PATH
EOF

remote_transfer $LOCAL_DIR/scala.sh /etc/profile.d/
remote_execute "source /etc/profile.d/scala.sh"
remote_execute "scala -version"

# 第五步：按照配置kafka，并启动服务
remote_transfer $LOCAL_DIR/$KAFKA_NAME $PACKAGE_DIR
remote_execute "tar zxvf $PACKAGE_DIR/$KAFKA_NAME -C $APP_DIR"

remote_execute "if [ -e $APP_DIR/kafka ];then rm -rf $APP_DIR/kafka;fi"
remote_execute "ln -sv $APP_DIR/kafka_2.11-0.11.0.2 $APP_DIR/kafka"

remote_execute "if [ -e /data/kafka/log ];then rm -rf /data/kafka/log;fi"
remote_execute "mkdir -p /data/kafka/log"

remote_execute "sed -i '/zookeeper.connect=localhost:2181/d' $APP_DIR/kafka/config/server.properties"
remote_execute "sed -i '\$azookeeper.connect=192.168.126.136:2181,192.168.126.137:2181,192.168.126.138:2181' $APP_DIR/kafka/config/server.properties"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i 's/broker.id=0/broker.id=100/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i 's/broker.id=0/broker.id=101/g' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i 's/broker.id=0/broker.id=102/g' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "if [ \`hostname\` == "linkhot02" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.136:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot03" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.137:9092' $APP_DIR/kafka/config/server.properties;fi"
remote_execute "if [ \`hostname\` == "linkhot04" ];then sed -i '\$alisteners=PLAINTEXT://192.168.126.138:9092' $APP_DIR/kafka/config/server.properties;fi"

remote_execute "sed -i 's/log.dirs=\/tmp\/kafka-logs/log.dirs=\/data\/kafka\/log/g' $APP_DIR/kafka/config/server.properties"

remote_execute "jps | grep kafka | grep -v grep | awk '{print \$1}' > /tmp/kafka.pid"
remote_execute "if [ -s /tmp/kafka.pid ];then kill -9 \`cat /tmp/kafka.pid\`;fi"

remote_execute "$APP_DIR/kafka/bin/kafka-server-start.sh -daemon $APP_DIR/kafka/config/server.properties"

sleep 30

remote_execute "if [ `hostname` == "linkhot02" ];then $APP_DIR/kafka/bin/kafka-topic.sh --zookeeper localhost --create --topic test --partitions 5 --relication-factor=2;fi"

sleep 5

remote_execute "if [ \`hostname\` == "node01" ];then $APP_DIR/kafka/bin/kafka-topics.sh --zookeeper localhost  --topic test --describe;fi"

鮀城小帅
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统管理工具包使用SSH进行分布式管理.docx
09-13
桥梁桩基劳务分包合同.pdf
远程ssh自动化安装卸载脚本(python)
weixin_44929101的博客
03-28 346
这是由python写的脚本,可以通过ssh远程安装和卸载软件。
宝塔一键部署项目及Linux服务器三种软件安装方式【JDK、Tmcat、Docker】
最新发布
2301_77116622的博客
05-02 842
卸载完毕后即可安装jdk。
Linux命令
weixin_67033111的博客
03-10 325
目录 一：系统初始化 1：关闭防火墙 2：selinux 二：命令格式 1：帮助命令 2：目录操作 1：查看目录 2：创建与查找 三：硬件信息以及系统信息 一：系统初始化 永久关闭防火墙 ...
Maven 一键部署到 SSH 服务器
zhangxin09的专栏
08-23 1168
利用 Maven Mojo 功能一键部署 jar 包或 war 包到远程服务器上。
Linux运维中级-实操-Shell脚本实现简单的一键部署LNMP
weixin_45807181的博客
08-18 377
Shell脚本一键部署LNMP
【自建分布式数据库详细指南】（二）部署：多节点分布式集群搭建
wter26的专栏
11-08 2673
Citus架构 简介 Citus是Postgres的开源扩展，将Postgres转换成一个分布式数据库，在集群的多个节点上分发数据和查询，具有像分片、分布式SQL引擎、复制表和分布式表等特性。 因为Citus是Postgres的扩展(而不是一个独立的代码分支)，所以当你使用Citus时，你也在使用Postgres，可以利用最新的Postgres特性、工具和生态系统。 架构节点 每个集群都有一个称为协调节点（Coordinator Node，CN）的特殊节点，其他节点称为工作节点（Worker N
hadoop全分布式-脚本一键安装
09-14
总之，Hadoop的一键安装脚本是大数据领域的一个实用工具，它结合了Linux自动化命令和Hadoop的配置知识，使得部署大规模分布式数据处理环境变得更加便捷。对于想要学习和使用Hadoop的开发者来说，掌握这种安装方式...
利用ansible一键安装GreatSQL并完成MGR部署
07-11
本篇文章将深入探讨如何利用Ansible一键安装GreatSQL，并完成MGR（Group Replication）的部署。 首先，我们来了解GreatSQL。GreatSQL是由万里数据库维护的MySQL分支，它专注于高可用性、高性能和大数据处理。...
大数据环境一键安装脚本.zip
03-04
总的来说，"大数据环境一键安装脚本.zip" 提供的"automaticDeploy-master"是一个全面的解决方案，旨在简化大数据集群的部署过程，使用户能够快速地搭建起一个稳定、高效的大数据平台。对于初学者和管理员来说，这样...
一键安装Hadoop.zip
07-15
"一键安装Hadoop"脚本是针对Hadoop部署过程的简化工具，通常包含自动配置环境变量、安装依赖、设置Hadoop配置文件等步骤。这个脚本默认安装的是Hadoop-3.2.1版本，这是Hadoop社区的一个稳定版本，具有更好的性能和...
mongodb一键化部署201812161
08-08
MongoDB 是一个高性能、分布式文档型数据库，常用于构建可扩展的应用程序。本文将详细介绍如何进行MongoDB的一键化部署，特别关注`autoClusterIndex.sh`脚本在配置集群过程中的作用。 首先，MongoDB的节点分配规划...
一键脚本实现 登录ssh，项目重启，免除了一次次连xshell困扰
qq_40016071的博客
07-14 447
一键脚本实现 登录ssh，项目重启
分布式项目部署方案
qq_41733487的博客
07-12 3071
分布式项目部署
Ubuntu安装ssh、配置自启动脚本
斯文~
11-10 1881
Ubuntu安装ssh、配置自启动脚本
简洁的一键SSH脚本
weixin_33911824的博客
07-27 616
这里发一个自己图省事搞的一个批量打通SSH的脚本，可能对于好多朋友也是实用的,是expect+python的一个组合实现,原理非常easy, 使用起来也不复杂,在此还是简单贴出来说说。 noscp.exp #!/usr/bin/expect #noscp.exp if {$argc&lt;4} { puts stderr "Usage: $argv0 lo...
linux openssh 源码升级并隐藏版本号 提供一键安装脚本
chinazzb的博客
01-02 2308
因某项目 系统是 SUSE 11 SP3。 在上线前，甲方在安全检测时，发现有openssh 漏洞一大堆！！，导致项目无法正式上线。故只能将openssh openssl 升级。 本文章只提供自写脚本，方便一键升级。(请先自行安装gcc gcc-c++) 本脚本只在suse 11 sp3 上进行测试。但请先自行测试，若脚本出现生产事故故障，不负任何责任！！！   需要依赖包 upgrade...
centos7安装gitlab_[centos7.3+]gitlab_最新版本一键化安装shell脚本
weixin_39827304的博客
11-28 221
测试环境:centos7.3新装系统安装方式:yum安装gitlab软件版本:11.9.1#!/bin/bash#gitlab安装cat > /etc/yum.repos.d/gitlab-ce.repo << 'EOF'[gitlab-ce]name=Gitlab CE Repositorybaseurl=https://mirrors.tuna.tsinghua.edu.cn...
ssh脚本自动登录
my_live_123
03-27 2772
ssh脚本登录 1.什么是ssh指纹 使用 /etc/ssh/ssh_host_rsa_key.pub 公钥加密生成的字符串，用来校验或验证连接的远程主机 2. 如何使用脚本登录ssh 方案1：使用expect spawn ssh root@172.16.16.7 -p 36000 expect "*Are you sure you want to continue connecting (ye...
大数据Hadoop安装部署文档
04-21
"《大数据Hadoop安装部署文档》是私塾在线推出的一系列精品教程，涵盖了Hadoop在Windows和Linux上的伪分布式安装，以及Eclipse开发环境的集成和使用。教程还讲解了Hadoop UI界面的介绍和运行WordCounter示例，旨在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值