分布式项目一键发布脚本

最新推荐文章于 2024-06-18 11:29:00 发布
最新推荐文章于 2024-06-18 11:29:00 发布
阅读量307 收藏
点赞数
分类专栏： shell 文章标签： linux ssh rsync
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hqh0925/article/details/109749894
版权

分布式项目一键发布脚本

1代码管理

目前我这边接触的是使用svn进行管理的项目，对于git管理的目前只接触了两个项目，经验不是很丰富，就不多说了。主要记录基于svn管理的代码发布。

cd 脚本目录
case $1 in
	条件1)
	svn co --username svn用户名--password svn密码 svn地址 ../svn/aiesb
        ;;
	条件2)
	ssvn co --username svn用户名--password svn密码 svn地址 ../svn/aopopr
	;;
	*)
	echo "请输入 条件1/条件2"
	;;
esac

2编译打包

目前使用的是ant进行编译打包，代码和配置分离的打包方式。需要基于ant
用xml进行配置。

<?xml version="1.0" encoding="UTF-8"?>

<project name="project" default="process">
	<property file="build.properties" />

	<target name="init">
		<delete dir="${build.tmp.dir}" />
		<delete dir="${build.dist.dir}" />
		<mkdir dir="${build.dist.dir}" />
		<mkdir dir="${build.tmp.dir}/${project.esb.name}" />
		<mkdir dir="${build.tmp.dir}/${project.esb.name}/classes" />
		<mkdir dir="${build.tmp.dir}/${project.esb.name}/config" />
		<mkdir dir="${build.tmp.dir}/${project.esb.name}/lib" />
	</target>

	<target name="compile_esb" depends="init">
		<echo message="Start Compile java - esb" />
		<javac fork="true" srcdir="${build.svn.dir}/aiesb/src;" destdir="${build.tmp.dir}/${project.esb.name}/classes" debug="true" debuglevel="lines,vars,source" nowarn="true" includeAntRuntime="no" failonerror="true" >
			<!--<compilerarg line="-encoding UTF-8 -J-Xms1024m -J-Xmx1024m"/>-->
			<classpath>		
                <fileset dir="${build.svn.dir}/aiesb/lib" includes="*.jar" /> 
				<fileset dir="${build.lib.dir}" includes="*.jar" />
			</classpath>
			<include name="**/*.*" />
			<!--<exclude name="test/**/*.*" />-->
			<!--<exclude name="**/test/*.*" />-->
			<exclude name="example/**/*.*" />
		</javac>
		
		<echo message="Compile Success" />

		<echo message="Generate compiled Class to jar" />
		<jar destfile="${build.dist.dir}/${project.esb.name}.jar">
			<fileset dir="${build.tmp.dir}/${project.esb.name}/classes">
				<include name="**/*.class" />
			</fileset>
		</jar>
		<echo message="Generate Jar Success" />
	</target>
		
	<target name="process" depends="compile_esb">
		<echo message="Copy File" />
		<copy todir="${build.tmp.dir}/${project.esb.name}/config">
			<fileset dir="${build.svn.dir}/aiesb/config" includes="**/*"/>
		</copy>

		<copy todir="${build.tmp.dir}/${project.esb.name}/config" overwrite="true">
			<fileset dir="${build.config.dir}/${project.esb.name}/config" includes="**/*"/>
		</copy>
		<echo message="config overwrite finished" />
		<!--<delete file="${build.tmp.dir}/${project.esb.name}/config/system/service/defaults.xml" />-->
		<delete file="${build.tmp.dir}/${project.esb.name}/config/system/isb/deployment.xml" />
		<!--<delete file="${build.tmp.dir}/${project.esb.name}/config/socketLog.properties" />--> 		
        <delete file="${build.tmp.dir}/${project.esb.name}/config/log4j.properties" />	
	
		<copy todir="${build.tmp.dir}/${project.esb.name}/lib">  
			<fileset file="${build.dist.dir}/${project.esb.name}.jar" />
			<fileset dir="${build.svn.dir}/aiesb/lib" includes="*.jar" /> 
			<!--<fileset dir="${build.lib.dir}" includes="tools.jar" />-->
		</copy>
		<jar destfile="${build.dist.dir}/${project.esb.name}_config.jar" basedir="${build.tmp.dir}/${project.esb.name}/config"/>
		<jar destfile="${build.dist.dir}/${project.esb.name}_lib.jar" basedir="${build.tmp.dir}/${project.esb.name}/lib"/>
	</target>
	
</project>

3可执行代码同步应用主机

使用rsync进行此操作。rsync的基本命令可以参考rsync同步介绍
rsync是基于ssh端口的，如果ssh不是默认端口会报错

#!/bin/bash

source ./ip.config

version=版本源地址/
todir=版本目标地址

user=${appuser}

case $1 in
        all)
        echo "all-- ${ips[@]} --"        
		for ip in ${ips[@]}; do
			echo "${ip} 开始同步版本"
			rsync -avz $version $user@$ip:$todir
		done        
        ;;
        BST)
        echo "BST-- ${BSTips[@]} --"
        for ip in ${BSTips[@]}; do
			echo "${ip} 开始同步版本"
			rsync -avz $version $user@$ip:$todir
		done
        ;;
        LC)
        echo "LC-- ${LCips[@]} --"
        for ip in ${LCips[@]}; do
			echo "${ip} 开始同步版本"
			rsync -avz $version $user@$ip:$todir
		done
        ;;
        JRY)
        echo "JRY-- ${JRYips[@]} --"
        for ip in ${JRYips[@]}; do
			echo "${ip} 开始同步版本"
			rsync -avz $version $user@$ip:$todir
		done
        ;;
        DMZ)
        echo "DMZ-- ${DMZips[@]} --"
        for ip in ${DMZips[@]}; do
			echo "${ip} 开始同步版本"
			rsync -avz $version $user@$ip:$todir
		done
        ;;
        test)
        echo "test-- ${testips[@]} --"
        for ip in ${testips[@]}; do
            echo "${ip} 开始同步版本"
            rsync -avz $version $user@$ip:$todir
            done
        ;;
        *)
        echo "请输入 all/BST/LC/JRY/DMZ"
        ;;
esac

echo '==aiesb version sync over=='

4rsync配合主机间的shh免密登录更容易移植

主机间的免密登录可以参考linux主机间的免密登录

5生成可运行的节点

可以在应用主机上预先写好生成节点的脚本genOpcfesb.sh，在发布机上通过免密登录，登录到应用主机上执行此脚本，根据同步过来的基础版本生成可以运行的节点。这一步需要根据实际需要编写个性化的脚本genOpcfesb.sh。

#!/bin/bash

source ./ip.config

user=${appuser}

cmd="sh ${apphome}/sbin/genOpcfesb.sh"

case $1 in
        all)
        echo "all-- ${ips[@]} --"        
		for ip in ${ips[@]}; do
			echo "start generate opcfesb for ${ip} "
			ssh $user@$ip $cmd
		done        
        ;;
        BST)
        echo "BST-- ${BSTips[@]} --"
        for ip in ${BSTips[@]}; do
			echo "start generate opcfesb for ${ip} "
			ssh $user@$ip $cmd
		done
        ;;
        LC)
        echo "LC-- ${LCips[@]} --"
        for ip in ${LCips[@]}; do
			echo "start generate opcfesb for ${ip} "
			ssh $user@$ip $cmd
		done
        ;;
        JRY)
        echo "JRY-- ${JRYips[@]} --"
        for ip in ${JRYips[@]}; do
			echo "start generate opcfesb for ${ip} "
			ssh $user@$ip $cmd
		done
        ;;
        DMZ)
        echo "DMZ-- ${DMZips[@]} --"
        for ip in ${DMZips[@]}; do
			echo "start generate opcfesb for ${ip} "
			ssh $user@$ip $cmd
		done
        ;;
        test)
        echo "test-- ${testips[@]} --"
        for ip in ${testips[@]}; do
            echo "start generate opcfesb for ${ip} "
            ssh $user@$ip $cmd
        done
        ;;
        *)
        echo "请输入 all/BST/LC/JRY/DMZ"
        ;;
esac
echo "==genOpcfesb over=="

6启停脚本

根据ip列表和每台应用主机上预留的单主机全量启停脚本，通过ssh免密登录到ip列表中的每台主机进行此步操作。

start-opcfesb.sh

#!/bin/bash

source ./ip.config

user=${appuser}
cmd="sh ${apphome}/sbin/start_all.sh"

case $1 in
        all)
        echo "all-- ${ips[@]} --"        
		for ip in ${ips[@]}; do
			echo "开始启动 ${ip}"
			ssh $user@$ip $cmd
		done        
        ;;
        BST)
        echo "BST-- ${BSTips[@]} --"
        for ip in ${BSTips[@]}; do
			echo "开始启动 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        LC)
        echo "LC-- ${LCips[@]} --"
        for ip in ${LCips[@]}; do
			echo "开始启动 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        JRY)
        echo "JRY-- ${JRYips[@]} --"
        for ip in ${JRYips[@]}; do
			echo "开始启动 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        DMZ)
        echo "DMZ-- ${DMZips[@]} --"
        for ip in ${DMZips[@]}; do
			echo "开始启动 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        test)
        echo "test ${testips[@]} "
        for ip in ${testips[@]}; do
             echo "开始启动 ${ip}"
             ssh $user@$ip $cmd
        done
        ;;
        *)
        echo "请输入 all/BST/LC/JRY/DMZ"
        ;;
esac

echo '==start over=='

stop-opcfesb.sh

#!/bin/bash

source ./ip.config

user=${appuser}
cmd="sh ${apphome}/sbin/stop_all.sh"

case $1 in
        all)
        echo "all-- ${ips[@]} --"        
		for ip in ${ips[@]}; do
			echo "开始停 ${ip}"
			ssh $user@$ip $cmd
		done        
        ;;
        BST)
        echo "BST-- ${BSTips[@]} --"
        for ip in ${BSTips[@]}; do
			echo "开始停 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        LC)
        echo "LC-- ${LCips[@]} --"
        for ip in ${LCips[@]}; do
			echo "开始停 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        JRY)
        echo "JRY-- ${JRYips[@]} --"
        for ip in ${JRYips[@]}; do
			echo "开始停 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        DMZ)
        echo "DMZ-- ${DMZips[@]} --"
        for ip in ${DMZips[@]}; do
			echo "开始停 ${ip}"
			ssh $user@$ip $cmd
		done
        ;;
        test)
        echo "test ${testips[@]} "
        for ip in ${testips[@]}; do
             echo "开始停 ${ip}" 
             ssh $user@$ip $cmd
        done
        ;;
        *)
        echo "请输入 all/BST/LC/JRY/DMZ"
        ;;
esac

echo "==stop over=="

ip.config

#!/bin/bash

#应用主机用户
appuser=应用主机用户
apphome=应用主机HOME目录全路径

testips=(ip1 ip2 ip3)

refreships=(ip1 ip2 ip3)

#所有应用主机
ips=(ip1 ip2 ip3 ip4 ip5 ip6 ip11 ip12 ip13 ip14 ip15 ip16)
#按照中心分
BSTips=(ip1 ip2 ip3 ip4 ip5 ip6)
LCips=(ip11 ip12 ip13 ip14 ip15 ip16)
#按照归属域分
JRYips=(ip4 ip5 ip6)
DMZips=(ip14 ip15 ip16)

7将涉及到的每个步骤合并形成一键发布脚本

#!/bin/bash

input=$1
if [ ! -n "$1" ]; then
    echo "请输入 all/BST/LC/JRY/DMZ"
    exit -1
fi

echo "inputParam is ${input}"
# 代码拉取
sh check_svn.sh 条件1
# 编译
sh create-esb.sh
# 将编译后的jar整理成基础版本
sh preAiesb.sh

sh rsync-aiesb.sh $input

sh stop-opcfesb.sh $input

sh gen-opcfesb.sh $input
# 睡眠足够长时间，让连接释放，单位秒s
sleep 120

sh start-opcfesb.sh $input

8节点健康状态检查

按端口进行检测，根据实际情况修改

#!/bin/bash

source ./ip.config

user=${appuser}
cmd="netstat -na|grep 700 | grep 'LISTEN' | wc -l"

for ip in ${ips[@]}; do
    echo "${ip} LISTEN PORT Nums:"
    ssh $user@$ip $cmd
done

9一键缓存刷新

根据实际情况编写，我的思路是在同一个域中只互相连通的主机中取一台作为刷新机，在该台主机上预留刷新整个域的刷新脚本，刷新整个域，所以有几个域就配置几个刷新机就可以了，不用每台都登录上去执行。

gaoyc5
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop全分布式-脚本一键安装
09-14
在"标题"中提到的"全分布式-脚本一键安装"方法，旨在简化这一过程，让初学者也能快速上手。 "描述"中提到的关键点是，你需要将所有必要的文件，包括Hadoop的配置文件（如core-site.xml、hdfs-site.xml、yarn-site....
Spring Boot 应用一键发布脚本
梦幻天空
08-02 285
虽然手输一遍命令也不是特别麻烦，但如果发布频繁，或者要维护多个环境，就很头疼了，难免出现手滑在生产发布时使用。有时候为了确认应用正常启动，还需要再使用。当然上边这种机械重复性工作可以用。不同的环境只要替换脚本中的。在日常工作中，如果要发布。以后再发包只要上传完。...
一键就能发布项目-DevOps_v1.0.1
般若
06-25 527
文章目录abc_一键发布项目_v1.0主角Jenkins的构建界面阅读技巧说明目录快速开始job-全自动发布配置job-jar发布配置触发jobSVN目录指定节点发布start发布完成后的目录准备说明工具知识简介全自动发布思路需求分析Subversion等源码库文件结构方案job构建工作空间maven命令访问Jenkins新建job如何进入配置界面配置jobjob-全自动发布配置说明新建job开启并发构建关联节点配置工作空间workspace源码库配置说明配置静态文件 - src/main/webapp配置
运维必备：批量实现Linux机器SSH免密登录的自动化脚本
最新发布
didiplus
06-18 562
为了确保任务的高效完成，他需要在所有目标服务器之间实现SSH免密登录，这样可以避免每次登录都手动输入密码，提高工作效率。为了解决这个问题，小李决定编写一个Shell脚本，自动批量地在所有目标服务器之间配置SSH免密登录。脚本首先检查必要的依赖和输入，然后遍历目标主机列表，将本地生成的SSH公钥拷贝到每个目标主机上。最后，通过执行该脚本，自动批量配置所有目标服务器的SSH免密登录，以简化和自动化运维操作。即可获取，无套路，纯粹分享，也欢迎有能力的小伙伴继续完善脚本。，并把脚本的内容复制进去，然后，保存退出。
一键发布脚本（含备份、发布、回滚等功能）
白夜流歌的笔记簿
04-07 458
前言：最近写了个一键发布脚本，这个脚本改进了很多次，遇到了不少问题，放在这里的是最终版，供大家互相学习和提意见。 一、项目架构 很常见的双节点负载均衡架构 预发布服务器IP：192.168.1.100 后端节点服务器1：192.168.1.201 后端节点服务器2：192.168.1.202 上边部署了若干服务，脚本里是1个前端页面3个微服务 二、预发布端脚本 脚本是在预发布端执行，并通过ssh远程调用在节点服务器上的具体功能脚本，需提前做好预发布到节点服务器的免密 mkdir /usr/local/sc
三分钟搞定分布式结构服务部署发布，全网首发！
weixin_57992300的博客
06-25 181
开头 对于一个Java程序员而言，能否熟练掌握并发编程是判断他优秀与否的重要标准之一。因为并发编程是Java语言中最为晦涩的知识点，它涉及操作系统、内存、CPU、编程语言等多方面的基础能力，更为考验一个程序员的内功。 那到底应该怎么学习并发编程呢？**Java SDK的并发工具包有很多，是要死记硬背每一个工具的优缺点和使用场景吗？**当然不是，想要学好并发编程，你需要从一个个单一的知识和技术中“跳出来”，高屋建瓴地看问题，并逐步建立自己的知识体系。 在这里对那些对并发编程原理方面理解的不透彻，对并发编程的理
分布式技术之分布式发布订阅通信
Carroll的博客
12-30 833
发布订阅的三要素是生产者、消费者和消息中心，生产者负责产生数据放到消息中心，消费者向消息中心订阅自己感兴趣的消息，当发布者推送数据到消息中心后，消息中心根据消费者订阅情况将相关数据推送给对应的订阅者。
【新星计划】Kafka分布式发布订阅消息系统
m0_56073435的博客
07-21 2703
Producer是消息的生产者，通常情况下，数据消息源可是服务器日志、业务数据及Web服务数据等，生产者采用推送的方式将数据消息发布到Kafka的主题中，主题本质就是一个目录，而主题是由Partition Logs（分区日志）组成，每条消息都被追加到分区中。与点对点消息系统不同的是，消费者可以订阅一个或多个topic（分类），消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者。
分布式发布-订阅消息系统--Kafka简介
m0_49359581的博客
01-18 390
Flume架构Flume简介Flume架构SourceSinkChannel Flume简介 ①：Flume用于讲多种来源的日志以流 的方式传送至 Hadop或者其他地方 ②：Flume拥有基于数据流上的简单灵活架构，支持容错，故障转移 ③：一种可靠，可用的高效分部式数据收集服务 Flume架构 基本组件： Client：客户端，数据产生的地方，如Wｅｂ服务器 Event:事件，指通过Agent传输的单个数据包，如日志数据通常对用一行数据 Agent:代理，一个独立的JVM进程 Agent包括三个组件：
架构设计：分布式结构下，服务部署发布
【积累】，是一个长期持续的过程。
11-14 654
分布式系统架构下，服务发布是一件很麻烦的事情，特别是在构建自动发布流程和灰度测试的策略两个核心方面。通常情况下如果不涉及数据层面的灰度流程，服务可以灰度上线，或者滚动上线，这两种方式很常用；如果涉及到数据灰度，则可能需要中间服务做不同版本数据之间追平，或者停机维护一次性处理好数据和上线问题，不过后面这种方式风险较大。...
伪分布式zookeeper一键安装脚本
12-20
测试环境一键安装zookeeper伪分布式集群，安装之前，请先看脚本，下载相应的zk包
Greenplum分布式一键安装及卸载脚本
02-28
**绿盟分布式数据库Greenplum的一键安装与卸载脚本详解** Greenplum是一款高效、可扩展的并行数据库系统，广泛应用于大数据处理和分析。为了简化Greenplum的安装和卸载过程，通常会编写一系列自动化脚本来实现一键...
elasticsearch-7.7(内含一键安装脚本)
07-18
**Elasticsearch 7.7：内含一键安装脚本** Elasticsearch 是一个开源的全文搜索引擎，基于 Lucene 库构建，具有分布式、实时、可扩展性好、近实时处理能力强等特点。它广泛应用于日志分析、监控、搜索、大数据分析...
HadoopDeployScripts:Hadoop一键部署脚本
05-14
CentOS 7 下的 Hadoop 一键脚本使用方法脚本完成的是Hadoop分布式集群配置包含wordcount例子 (在wordcount文件夹下面)单机版配置方法请看下面的注意事项前提条件：登录用户具有sudo权限（root也可）具有网络连接安装...
AEAI ESB开发入门手册
数通畅联
12-16 1082
企业的信息化建设是一个从无到有、从有到散的过程，分散的业务系统往往只能满足企业的基础业务管理，而随着企业业务的复杂化和多样化，必然会出现多系统业务串联和数据整合的需求，ESB企业服务总线就是为企业解决系统集成难题的一款产品。 企业服务总线（Enterprise Service BUS，ESB）作为企业信息系统的“龙骨”用于集成各业务系统，实现异构系统的互联互通。平台预置丰富的组件，可以以向导式、图形化、拖拽式的方式进行服务、流程的开发，降低开发难度以及对使用人员的技术要求。 ESB主要包含三个模块：ES
简单使用！使用shell脚本实现ssh免密登录
qq_56776641的博客
04-20 3459
【代码】简单使用！使用shell脚本实现ssh免密登录。
shell脚本实现免密钥登陆远程主机
运维开发 胶水先生
12-07 1803
采用菜单交互的方式实现多功能的切换，shell脚本实现免密登陆脚本, expect登陆远程主机，将生成的密钥写入到目标主机，并且使用shift工具动态加载函数的传参捕捉，同时允许用户动态的把主机添加为免密钥登陆主机。一共运用到的工具有select、shift、expect、read。shell脚本同时兼容了centos7、rocky9、almalinux9以及Ubuntu2004不同类型的操作系统。是为笔记，一步一步往前走。
京淘分布式项目发布流程(详细)
qq_41348832的博客
07-29 612
sso order web cart manage 模块,分别打包在linux里发布
分布式篇：灰度发布
Fireworks
08-07 922
说明 所谓的灰度发布 假如现在有个服务A 服务A部署在两台机器上 现在对服务A更改了某些功能 但是部署的时候，不会一次把服务A都部署在两台机器上 只会把新代码部署在其中某一台 两台机器，一台是新代码，一台是老代码 灰度发布就是说，按某些权重，请求分发给 不同的机器 比如 新代码 接收 10%的请求，其余 90%给 老代码 验证成功之后，再把另外一台弄成新代码 二次开发 可以针对灰度发布进行二次开发...
hadoop一键启动脚本
09-08
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它提供了一个可靠的、可扩展的分布式系统，能够在大量普通计算机的集群上运行。为了方便用户启动Hadoop集群，开发者编写了一键启动脚本。 Hadoop一键启动脚本的作用是简化Hadoop集群的启动过程。用户只需要运行这个脚本，就能够自动完成所有必要的设置和启动步骤，而不需要手动逐一执行命令和配置文件。一键启动脚本通常会检查系统环境和配置文件，确保一切准备就绪，然后根据用户的需求启动特定的Hadoop服务和组件。 一键启动脚本通常包括以下几个主要步骤： 1. 检查系统依赖：脚本会检查系统环境，包括操作系统、Java版本等，确保满足Hadoop运行的最低要求。 2. 配置文件检查：脚本会检查Hadoop配置文件，如core-site.xml、hdfs-site.xml等，确保配置正确且完整。 3. 启动服务：根据用户输入的命令，脚本会启动相应的Hadoop服务，如启动HDFS、启动YARN等。在启动过程中，脚本会在终端显示详细的启动日志，方便用户查看和调试。 4. 验证启动：脚本会检查Hadoop集群的启动状态，确认所有服务均已成功启动。如果有错误或异常，脚本会显示相关错误信息，并提供解决方案。 总之，Hadoop一键启动脚本能够极大地简化Hadoop集群的部署和启动过程，提高用户的使用效率和便利性。用户只需准备好必要的配置文件和环境，然后运行一键启动脚本，即可轻松启动Hadoop集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值