实现Shell脚本自动备份Gitlab档案并同步到远程

原创 2017年09月08日 15:57:18

实现脚本自动备份Gitlab档案并同步到远程

参考:Gitlab的备份与恢复

Gitlab服务器与备份服务器进行密钥配对,免密使用scp传输Gitlab备份文件

Gitlab Server: 192.168.0.55
Bakcup SWerver: 192.168.0.222

  • 在Gitlab服务器上生产密钥对
ssh-keygen -t rsa
  • 拷贝Gitlab上的公钥上传到备份服务器的指定目录(~/.ssh/authorized_keys):默认为当前用户的.ssh/authorized_keys文件内,笔者使用的是root账户
# 在gitlab上执行,如果端口不是默认的22,采用scp的方式拷贝gitlab公钥
ssh-copy-id root@192.168.0.222

创建shell定时备份Gitlab档案到远程脚本

#!/bin/bash
##########################################################################
# Script Name: auto_backup_gitlabdata_to_remote.sh
# Author: wanghui
# Email: yunwei@aniu.tv
# Created Time: Thu 07 Sep 2017 08:59:26 PM CST
#########################################################################
# Blog address: http://blog.csdn.net/wh211212
#########################################################################
# Functions:  #
# 
# Define some variables:  #
# Gitlab 档案备份路径
LocalBackDir=/var/opt/gitlab/backups

# Backup server 存储路径
RemoteBackDir=/mnt/backups/gitlab_backups/remote

# 远程备份使用用户及端口
RemoteUser=root
RemotePort=22

# 备份服务器IP
RemoteIP=192.168.0.222

# 备份时间戳
Date=`date +"%F-%T"`

# 备份日志文件
LogFile=$LocalBackDir/remote_backup.log

# 查找本地备份目录下一天以内且后缀为.tar的Gitlab备份文件
Backfile_Send_To_Remote=$(find /var/opt/gitlab/backups -type f -mtime -1 -name '*.tar')

#Backfile_Send_To_Remote=`find $LocalBackDir -type f -mtime -1 -name '*.tar'`

# 新建备份日志文件
touch $LogFile

# 记录备份日志
echo "${Date} Gitlab auto backup to remote server." >> $LogFile
echo "--------------------------------------------" >> $LogFile

# 打印每次备份的档案名
echo "The files need send to remote server is: $Backfile_Send_To_Remote" >> $LogFile

# 本地传输Gitlab备份档案到远程
scp -P $RemotePort $Backfile_Send_To_Remote $RemoteUser@$RemoteIP:$RemoteBackDir

# 备份结果追加到备份日志
if [ $? -eq 0 ];then
  echo ""
  echo "$Date Gitlab Remote Backup Succeed!" >> $LogFile
else
  echo "$Date Gitlab Remote Backup Failed!" >> $LogFile
fi
  • 创建Gitlab档案备份脚本
#!/bin/bash
##########################################################################
# Script Name: auto_backup_gitlabdata.sh
# Author: wanghui
# Email: yunwei@aniu.tv
# Created Time: Thu 07 Sep 2017 08:59:26 PM CST
#########################################################################
# Blog address: http://blog.csdn.net/wh211212
#########################################################################
# Functions: auto backup gitlab data#
# backup gitlab config
tar cfz /secret/gitlab/backups/$(date "+etc-gitlab-\%s.tgz") -C / etc/gitlab
# backup gitlab os
#/opt/gitlab/bin/gitlab-rake gitlab:backup:create
# gitlab本地备份路径
LocalBackDir=/var/opt/gitlab/backups

# 备份时间戳
Date=`date +"%F-%T"`

# 邮件写入的文件
MailDir=$LocalBackDir/mail
[ -d $MailDir ] || mkdir -p $MailDir
MailContent=$LocalBackDir/mail/mailcontent_$Date

# 邮件发送给谁
MailToUser1=wang@aniu.tv
MailToUser2=jiang@aniu.tv
MailToUser2=shen@aniu.tv

# 备份日志目录
LogDir=$LocalBackDir/log
[ -d $LogDir ] || mkdir -p $LogDir

# 新建日志文件
LogFile=$LocalBackDir/log/backup_$Date.log
touch $LogFile

# 追加日志到日志文件
echo "Gitlab auto backup at local server, start at  $(date +"%Y-%m-%d %H:%M:%S")" >  $LogFile
echo "--------------------------------------------------------------------------" >> $LogFile

# 执行gitlab本地备份功能
#/opt/gitlab/bin/gitlab-rake gitlab:backup:create

# $?符号显示上一条命令的返回值,如果为0则代表执行成功,其他表示失败
if [ $? -eq 0 ];then
   #追加日志到日志文件
   echo "--------------------------------Success!-------------------------------" >> $LogFile
   echo "Gitlab auto backup at local server, end at $(date +"%Y-%m-%d %H:%M:%S")" >> $LogFile

   #写Email的正文内容
   > "$MailContent"
   echo "GitLab Backup Daily Report,backup at local server Success ! Please Check your Email and read the following log file" >> $MailContent

   #读取mailcontent内容当做邮件正文 ,附件为Log文件
   #cat $MailContent | mail -s "Congratulation! GitLab backup at local server Success Report." $MailToUser1 < $LogFile
   cat $MailContent | mail -s "Congratulation! GitLab backup at local server Success Report." -a $LogFile $MailToUser1 -c $MailToUser2 $MailToUser3
else
   #追加日志到日志文件
   echo "--------------------------------Failed!----------------------------------" >> $LogFile
   echo "Gitlab auto backup at local server failed at $(date +"%Y-%m-%d %H:%M:%S")" >> $LogFile

   #写Email的正文内容
   > "$MailContent"
   echo "GitLab Backup Daily Report,Backup at local server failed Failed !  Please Check your Email and read the following log file !" >> $MailContent

   #读取mailcontent内容当做邮件正文附件为Log文件
   cat $MailContent | mail -s "Warning! GitLab Backup at local server Failed Report." -a $LogFile $MailToUser1 -c $MailToUser2 $MailToUser3
fi

定时执行脚本(crontab)

  • 编辑/etc/crontab
# 在crontab文件中添加对应定时任务
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

# add by wanghui,每天凌晨两点备份Gitlab
#m h d m w
0 2 * * * root /opt/gitlab/bin/gitlab-rake gitlab:backup:create

# 礼拜一到礼拜五的凌晨4点15分备份gitlab的配置文件,并压缩 
15 04 * * 2-6 umask 0077; tar cfz /secret/gitlab/backups/$(date "+etc-gitlab-\%s.tgz") -C / etc/gitlab

# add by wanghui 每天凌晨三点,执行备份Gitlab档案到远程服务器脚本
0 3 * * * root /bin/bash /home/yunwei/scripts/auto_backup_gitlabdata_to_remote.sh
  • 重启cron任务
/etc/init.d/crond reload
/etc/init.d/crond restart 
  • 定时删除备份服务器上的备份文件
#!/bin/bash
##########################################################################
# Script Name: auto_remove_old_backupdata.sh
# Author: wanghui
# Email: yunwei@aniu.tv
# Created Time: Thu 07 Sep 2017 08:59:26 PM CST
#########################################################################
# Blog address: http://blog.csdn.net/wh211212
#########################################################################
# Functions: auto remove old gitlab data#
GitlabBackDir=/mnt/backups/gitlab_backups/remote

# 查找远程备份路径下,超过30天的Gitlab备份档案,然后删除
find $GitlabBackDir -type f -mtime +30 -name '*.tar' -exec rm {} \;
  • 脚本发送邮件
# echo “邮件正文” | mail -s 邮件主题 收件地址
yum install -y mailx
# man mail
版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。

Git学习-->如何通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器?

一、背景在我之前的博客 git学习——> Gitlab如何进行备份恢复与迁移? (地址:http://blog.csdn.net/ouyang_peng/article/details/770709...
  • qq446282412
  • qq446282412
  • 2017年08月17日 17:01
  • 3529

gitlab 备份与恢复 定时备份

注: 仅适用于使用  For omnibus installations 安装的gitlab 1. 执行gitlab数据备份    默认备份文件储存在   /var/opt/gitlab/...
  • jenyzhang
  • jenyzhang
  • 2016年12月29日 15:26
  • 6210

gitlab的自动备份经历

前提 gitlab手动备份 gitlab自动备份 crontab find和rm 双备份机制 代码前提之前休假的时候,公司里搭建的gitlab服务器莫名宕机,为此还被召唤回公司。到公司以后鼓捣了一下,...
  • kyo34080800
  • kyo34080800
  • 2015年11月25日 17:33
  • 10603

gitlab主备实时同步

主:10.9.210.75 备:10.9.210.16 实现方案:mysql主从+文件同步(inotify+rsync) 一,配置mysql主从同步(mysql版本:5.5.43) 修改75的my...
  • syloke
  • syloke
  • 2015年08月28日 14:01
  • 4350

jenkins+gitlab钩子+shell脚本基于git的tag实现App增量更新

环境准备: jdk1.8(网上安装教程很多), 1.安装jenkins 首先到https://jenkins.io/index.html下载jenkins的war包。上传到自己的服务器,放在自己对应的...
  • KingBoyWorld
  • KingBoyWorld
  • 2017年01月07日 16:12
  • 4276

centos7下gitlab的搭建、备份与还原

1、gitlab的搭建 安装基础包 yum install curl policycoreutils openssh-server openssh-clients 启动sshd systemctl ...
  • linglong0820
  • linglong0820
  • 2016年03月17日 21:42
  • 2805

Gitlab配置ssh连接,上传项目到Gitlab

配置Git 我们先在电脑硬盘里找一块地方存放本地仓库,比如我们把本地仓库建立在D:\projects\CairhQuoteServer文件夹下 进入CairhQuoteServer文件夹 ...
  • liufangaliya
  • liufangaliya
  • 2016年01月13日 15:12
  • 2957

git 查看远程分支、本地分支、创建分支、把分支推到远程repository、删除本地分支

$ git branch -a * br-2.1.2.2 master remotes/origin/HEAD -> origin/master remotes/origin/br-2.1...
  • arkblue
  • arkblue
  • 2013年07月28日 18:22
  • 615360

gitlab的日志系统

gitlab会将所有的操作记录成日志,方便进行分析,gitlab的日志系统分为以下几类: 1、production.log:该日志位于/home/gitlab/logs/gitlab-rails中,...
  • fengjianbang
  • fengjianbang
  • 2017年06月19日 10:27
  • 4577

我所遇到的GitLab 502问题的解决

今天在阿里云上配置GitLab,不过一直出现错误502错误。 502  GitLab is not responding.  Please contact your GitLab adm...
  • RodJohnsonDoctor
  • RodJohnsonDoctor
  • 2015年05月09日 22:22
  • 32205
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:实现Shell脚本自动备份Gitlab档案并同步到远程
举报原因:
原因补充:

(最多只允许输入30个字)