Linux自动化部署工程

最新推荐文章于 2022-07-20 16:17:48 发布
最新推荐文章于 2022-07-20 16:17:48 发布
阅读量410 收藏
点赞数
分类专栏： 大数据 文章标签： Linux shell 自动化 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whylazy/article/details/52703248
版权

树懒·闪电

忘掉那些冗繁复杂的安装部署文档吧，自动化安装脚本才是你需要的！
欢迎加入树懒·闪电计划 》》 加入码云GIT

通过编辑linux或windows脚本，自动化部署安装所需软件，并优化相关配置，实现目标：

  1. 一键安装部署服务器端生产环境，包括集群与分布式部署，并进行相关优化配置，如mysq主从，Apache和tomcat负载均衡……
  2. 一键安装个人PC开发环境， 保证统一的、标准的开发环境，包括：java web开发，java rcp开发，C#客户端开发，Android开发，iOS开发……
  3. 批量升级维护服务器软件
  4. 定制解决方案，如高性能web服务器部署：jdk + 负载均衡 + 缓存服务器 + 数据库集群 + 静态资源服务……

mysql主从安装脚本

#!/bin/bash
set -e
## 检查输入参数
if [ $# -lt 1 ]; then
    echo "$0 错误：请传入参数，(1、服务ID; 2、服务类型:master/slave)！"
    echo "例如：./$0 1 master 或 ./$0 1 master"
    exit 2
fi
## 读取配置文件
. ../config/my-config.sh

if [ ! -f "$MYSQL_FILE" ]
then
## 重新设置下载链接
    MYSQL_URL=$URL_FILE/mysql

##1.下载安装包，并上传到服务器；
    wget $MYSQL_URL/$MYSQL_FILE
fi

##2. 解压安装包到指定目录，修改文件的读写执行权限；
rm -rf $MYSQL_HOME
rm -rf $MYSQL_DATA
tar -zxvf $MYSQL_FILE -C /home

## 新增用户组和用户
#create user if not exists  
#egrep "^mysql" /etc/passwd >& /dev/null  
if !(egrep "^mysql" /etc/passwd >& /dev/null)
then  
    groupadd mysql
    useradd -g mysql mysql
fi

#改变当前目录的拥有者和用户组
chown -R mysql $MYSQL_HOME
chgrp -R mysql $MYSQL_HOME

##3. 编译源文件，并进行安装；
# 已经编译过的，解压可用

##4. 修改软件的相关配置文件，本地化或优化配置；可从support-files/my-default.cnf获取
## 向配置文件中输入基本信息
cat > /etc/my.cnf <<END
[mysqld]
basedir = $MYSQL_HOME
datadir = $MYSQL_DATA
port = $MYSQL_PORT
server_id = $1
# socket = .....

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
## 修改临时表大小，提高查询速度
tmp_table_size=300M
max_heap_table_size=500M
## 最大连接数
max_connections=768
## 表名大小写不敏感
lower_case_table_names=1

## 日志配置
log_error=$MYSQL_DATA/mysql.err
#log=$MYSQL_DATA/mysql.log
slow-query-log=on
slow-query-log-file=$MYSQL_DATA/mysql.slow
long_query_time=3
END

## 写入初始化文件
cat > init.sql <<END
CREATE USER if not exists '${dbUser1}'@'%' IDENTIFIED BY '${dbPwd1}';
GRANT All ON *.* TO '${dbUser1}'@'%';
CREATE USER if not exists '${dbUser1}'@'localhost' IDENTIFIED BY '${dbPwd1}';
GRANT All ON *.* TO '${dbUser1}'@'localhost';
flush privileges;
create database if not exists bufferdb character set = 'utf8' collate = 'utf8_general_ci';
END

## 主从选择
if [ "$2" == "master" ];then
    cat >> /etc/my.cnf <<END
## 主从配置-主库
log-bin=mysql-bin
## 日志的过期天数
expire_logs_days = 7
## 需要同步的数据库
#binlog-do-db=db1 
#binlog-do-db=db2
#binlog-do-db=db3
## 不需要同步的数据库
#binlog-ignore-db=mysql
END
    echo  "GRANT REPLICATION SLAVE ON *.* to '${mySyncUser}'@'%' identified by '${mySyncPwd}'; " >> init.sql
elif [ "$2" == "slave" ];then
    cat >> /etc/my.cnf <<END
## 主从配置-从库
log_bin = mysql-bin
expire_logs_days = 7
relay_log = mysql-relay-bin
log_slave_updates = 1
read_only = 1
## 需要复制的库
#replicate-do-db=db1
## 不需要复制的库
#replicate-ignore-db=mysql
END
    cat >> init.sql <<END
STOP SLAVE;
CHANGE MASTER TO MASTER_HOST='${hosts[0]}', MASTER_PORT=${MYSQL_PORT}, MASTER_USER='${mySyncUser}', MASTER_PASSWORD='${mySyncPwd}', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=154, MASTER_CONNECT_RETRY=60;
START SLAVE;
END
    ## 删除从库的uuid，否则启动从服务报错 because master and slave have equal MySQL server UUIDs;
    rm -f $MYSQL_HOME/data/auto.cnf
fi

##5. 把软件注册为服务，并随系统启动；可从support-files/mysql.server获取
cp -f $MYSQL_INID /etc/init.d/$MYSQL_INID
chmod a+x /etc/init.d/$MYSQL_INID
sed -i "s#@{myhome}#$MYSQL_HOME#g" /etc/init.d/$MYSQL_INID
sed -i "s#@{mydata}#$MYSQL_DATA#g" /etc/init.d/$MYSQL_INID
chkconfig $MYSQL_INID on

##6. 修改用户环境变量，或建立软链接，方便快速调用软件命令；
ln -sf $MYSQL_HOME/bin/mysql /usr/bin

##7. 修改防火墙配置，以便外部访问；
../common/change-iptables.sh $MYSQL_PORT

##8. 设置监控日志
ln -sf $MYSQL_HOME/data/mysql.err $HOME_LOG
ln -sf $MYSQL_HOME/data/mysql.slow $HOME_LOG

## 启动定时日志清理和备份方案
#cp -f haha.cnf /home/backup/haha
#cp -f haha.cnf /home/backup/haha

## 启动数据库，并执行初始化脚本
service mysqld restart
## 无密码的
mysql -u root --auto-rehash --line-numbers --show-warnings mysql < init.sql

以上脚本保存后，只需要执行./install-mysql.sh（这里还依赖了两个通用的脚本，一个是全局环境变量配置脚本my-config.sh，一个是快速修改防火墙的脚本），即可快速安装mysql数据库。当然这个脚本还有很多不足之处，它没有定时备份计划，也没有定期删除日志计划，还需要不断去完善。
通过多个脚本组合，就可以形成一个整体解决方案，快速安装部署服务器生产环境，乃至分布式集群化！！！

hadoop-2.4.0集群安装脚本

#!/bin/bash
## 说明：Hadoop-2.4.0家族环境自动化部署安装脚本
## 作者：yaodh
## 博客：http://www.cnblogs.com/lucky110100
## 码云：http://git.oschina.net/signup?inviter=lucky110100
set -e
## 检查输入参数
if [ $# -lt 3 ]; then
    echo "$0 错误：请传入参数，(1、类型:name/node;2、机器名：name00/node01;3、机器IP)！"
    echo "例如：$0 name name00 127.0.0.1"
    exit 2
fi

echo "参数确认： 类型：$1   机器名： $2    机器IP：$3"

read -p "继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    echo '                  开始安装……'
else 
    echo '                  退出安装！！！'
    exit 2
fi

if [ ! -f 'hadoop.info'  ];then
    touch hadoop.info
fi
#写入集群信息——很重要
sed -i "/$2/d" hadoop.info
echo "$1	$2   $3" >> hadoop.info

URL_SHELL=http://172.16.11.10:9300

read -p "SSH链接慢？(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "sed -i 's@#UseDNS yes@UseDNS no@g' /etc/ssh/sshd_config;sed -i 's@#   GSSAPIAuthentication no@GSSAPIAuthentication no@g' /etc/ssh/ssh_config;service sshd restart"
else 
    echo '                  跳过……'
fi

read -p "授权公钥……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    wget $URL_SHELL/common/auth-key.sh;chmod a+x auth-key.sh;./auth-key.sh $1 $3
else 
    echo '                  跳过……'
fi

read -p "下载脚本……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ##下载脚本，并删除已rpm安装的软件
    ssh root@$3 "mkdir -p /home/install"
    ## 下载脚本
    #ssh root@$3 "cd /home/install;wget -N -r -nH -np -k -L -p $URL_SHELL" #层级下载有点问题
    ## 下载脚本包
    ssh root@$3 "cd /home/install;rm -f linux.zip;wget $URL_SHELL/linux.zip"
    ## 解压并提权
    ssh root@$3 "cd /home/install;unzip -o linux.zip;chmod a+x /home/install -R"
else 
    echo '                  跳过……'
fi

read -p "删除已rpm安装的软件……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ## 删除rpm安装的软件
    ssh root@$3 "cd /home/install/common;./uninstall-rpm.sh"
else 
    echo '                  跳过……'
fi

read -p "安装java……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/java;./installed-jdk.sh"
else 
    echo '                  跳过……'
fi

read -p "安装mysql……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/mysql;./installed-mysql.sh 1 single"
else 
    echo '                  跳过……'
fi

read -p "安装hadoop……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/hadoop;./hadoop-single.sh $1 $2 $3"
else
    echo '                  跳过……'
fi

read -p "安装hive……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/hadoop;./hive-single.sh"
else
    echo '                  跳过……'
fi

read -p "安装zookeeper……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    echo '                  未完成……'
else 
    echo '                  跳过……'
fi

read -p "安装hbase……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/hadoop;./hadoop-single.sh $1 $2 $3"
else 
    echo '                  跳过……'
fi

read -p "设置环境变量……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ssh root@$3 "cd /home/install/config;./my-profile.sh;source /etc/profile"
    ssh root@$3 "source /etc/profile"
else 
    echo '                  跳过……'
fi

read -p "立即加入Hadoop集群……继续/跳过(Y/N):" isY
if [ "${isY}" == "y" ] || [ "${isY}" == "Y" ];then
    ./hadoop-cluster.sh
else 
    echo '                  跳过……'
fi

最后，有两个要求：

1、安装过程中需要修改或替换系统中原有的文件前，要进行备份，这个非常非常非常重要！！！
2、既然有安装那么就要有卸载脚本，一旦安装过程中出现问题，我们可以把添加修改过的文件还原，重新安装，坚持谁污染谁治理原则！

深蓝水域
关注
专栏目录
jenkins+docker实现可持续自动化部署springboot项目
congge
04-06 1万+
jenkins+docker实现可持续自动化部署springboot项目
jenkins自动部署mysql_Jenkins搭建自动化部署环境（基于github）
weixin_29463881的博客
02-26 604
服务器使用centos6.5一、安装jenkins43.png因为我用的win7系统，所以下载好后，在jenkins.war路径下，打开命令行，使用下面的命令运行jenkins。等jenkins完全运行之后，打开浏览器输入localhost:8080就可以打开下面的窗口。(有一个输密码的窗口，不记得截图了，可以在它的路径下找到密码，然后安装默认的插件)44.png安装完插件之后，就会让你创建一个用...
Linux 轻量级自动化部署 Shell
向着太阳奔跑
03-20 625
下面是自动化部署脚本，可以根据自己的业务自行更新。 如有大批量更新业务,可以尝试自己弄个简单的Linux客户端实现一键批量部署。 传送门JAVA连接Linux并执行命令 #!/bin/bash ## 财务对账平台现网自动升级脚本V1.0 ## By:财务平台小组 2019-03-15 ## 执行缴费必传 6个参数 (没有特殊需求可以硬编码脚本中) ## 参数1项目路径 参数2项目名...
[MySQL] MySQL的自动化安装部署
Zhu_Julian's Notes (朱显杰的技术博客）
07-02 3465
有过MySQL运维的人应该都清楚，线上的MySQL一般都采用源码编译，因为这样才可以根据企业的各自需要选择要编译的功能，虽然MySQL的源码编译挺简单的，但是试想一下，如果你有几百台服务器同时要安装MySQL，难道你还一台台去手动编译、编写配置文件吗？这显然太低效了，本文讨论MySQL的自动化安装部署。 1、制作符合自己需求的RPM包 我们要根据MySQL的源码编译符合企业需求的RPM包，源码
linux mysql安装自动化安装脚本
05-17
直接执行压缩包里面的mysql.sh即可，附带my.cnf配置文件，数据库版本5.6
Linux之自动化部署
Asaasa1的博客
12-08 1029
自动化部署git项目 #!/bin/bash # 清除项目进程和历史文件 pkill -f start.py sleep 1 cd /root/automation |rm -rf testProduce/ # 获取项目最新git代码（前提服务器配置好git账户） git clone git@dev.test.com:test_code/testProduce.git # 启动项目 cd testProduce/ nohup /usr/python/bin/python3 start.py &
实现Java Maven项目在Linux环境下自动化部署
头发快掉完了
07-20 1097
实现Java Maven项目在Linux环境下自动化部署 jdk环境；maven环境；git安装
Linux集群节点自动化部署方法与实现 (2009年)
05-22
为 提高 Linux集群节点自动化部署的效率,在研究开源软件―SystemImager的基础上,对比其他部署方案,提出了 应用 SystemImager克隆技术有效完成 Linux集群节点的系统安装、软件分发及生产部署全过程的自动化解决方 案...
Linux自动化项目部署
Mr.O~的博客
10-18 2325
操作系统：centos6.5（服务器） windows（客户端） 开发环境：javaIDE，SVN，码云 服务器环境：JDK，tomcat，SVN，apache ant，码云 项目部署思路： 1、windows环境下我们使用了idea进行了一个简单javaWeb项目的开发。 2、为了测试方便，这里我们使用码云作为我们的SVN服务器进行代码托管。 3、开发人员在idea上开发完成之后...
基于SpringBoot+Bootstrap实现linux自动化运维监控系统，完美实现了分布式监控
最新发布
06-15
自动生成网络拓扑图，大屏可视化，web SSH（堡垒机），统计分析图表，指令下发批量执行，告警信息推送（如邮件、钉钉、微信、短信等）**。 ## **源码使用** 1.使用IDEA的话（推荐），直接打开wgcloud-server和...
Linux 下执行Mysql的 sql文件
热门推荐
Hebe
12-14 2万+
假设.sql文件存在F:\hello world\hello world.sql 第一种方式： 1. 连接到mysql:  mysql -u用户名 -p用户密码  2. 在MySQL下执行： source F:\hello world\hello world.sql 说明：在命令行下(已连接数据库,此时的提示符为 mysql> ),输入 source F:\hello world\
利用自动化脚本在linux上实现mysql的自动安装
m0_43405302的博客
12-27 1136
文章目录一、mysql二、环境准备三、自动化脚本 一、mysql mysql是一个在传统开发过程中十分常用的一个数据库，mysql经常在Linux上安装，为了减少指令的输入，因此设计了一个自动化脚本进行mysql数据库安装。 二、环境准备 liunx系统 连接上网络 yum源配置完毕，且安装了wget工具 三、自动化脚本 #卸载现有的mysql数据库 rpm -e --nodeps mysql #卸载虚拟机原生数据库 yum -y remove mariadb* #拉取MySQL的rpm包 wget h
【前端基础知识】Linux命令：项目自动化部署
Dai的博客
04-28 1168
【前端基础知识】Linux命令：项目自动化部署
Linux系统下不使用vi、vim、touch等方法来创建文件或追加内容
代码讲故事
08-25 4338
Linux系统下不使用vi、vim、touch等方法来创建文件或追加内容。 1、cat一次性追加内容或创建文件后追加内容： cat > /etc/mysql/my.cnf <<END 追加内容 END 2、cat交互式追加内容： cat > /etc/mysql/my.cnf << EOF 交互式输入内容，可以把文本通过复制粘贴的方式添加到>提示符后面，最后通过EOF终止cat的输入。 3、更多资源 1、查看作者专栏； 2、查看作者主页； 3、关注作者查看最
linux 编辑my.cnf,linux下 vi命令编辑/etc/my.cnf
weixin_39865204的博客
05-12 2547
linux下vi命令编辑/etc/my.cnf(2011-01-22 16:31:07)标签：杂谈请高手把详细步骤写好。把my.cnf配置文件加个max_connections包括(插入命令，删除命令，修改命令。退出保存命令)你要有这个文件写权限，shell下输入：vi /etc/my.cnf进入vi后，按i移动上下左右键到，你想插入的位置，然后打字。这时跟记事本是一样的。打完字后，按ESC然后...
linux shell一键自动化部署
程序员
02-08 8081
首先我先在svn目录下降项目从svn checkout下来 命令：svn co svn://svn.........(svn地址) 创建oa.sh(我是放在/root/shells目录下) 内容： #!/bin/bash . /etc/profile /root/shells/latin-ip-seeker.sh /root/shells/latin-common-utils.sh /ro...
从写项目到部署linux服务器全过程-linux下tomcat的安装篇
程序员超哥
12-21 1845
linux下安装Tomcat篇和简单使用前面五篇 1-MyEclipse新建单个Maven web工程 2-MyEclipse创建Maven web项目名后缀会有Maven Webapp 3-My Eclipse创建多模块Maven依赖项目 4-从写项目到部署linux服务器全过程-linux(CentOS 6.5)安装篇 5- 从写项目到部署linux服务器全过程-linux固定IP配置
Linux自动化部署项目
yutao_Struggle的博客
12-18 1200
Linux系统CentOS7 jdk安装 1.解压jdk-8u121-linux-x64.tar.gz tar -xzvf jdk-8u121-linux-x64.tar.gz 2.配置java环境变量 [root@vultr bme]# vim /etc/profile ...... #jdk环境变量配置 export JAVA_HOME=/bme/jdk1.8.0_121 export PA...
linux下jenkins实现自动化部署（超详细）
我怀念的
03-12 8777
本文参照：https://blog.csdn.net/achuDk/article/details/78925081 但是有给出我在搭建中遇到的问题，和我解决的方法。现在我的配置是需要手动一键点击部署。后面再持续更新 1，环境准备，安装jenkins的的前提是要先安装jdk，git，maven 大佬些，我相信这对你们来说都是很easy的。 2，安装jenkins cd /etc/yum.repos...
Linux系统上部署Tomcat工程步骤
如果`web.xml`未改动，你可以选择不重启Tomcat，因为它将自动检测到新部署的应用。 最后，为了确认发布是否成功，你可以访问服务器的公网IP地址加上你的应用上下文路径，检查页面是否正常加载。例如，如果上下文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值