制作整个网站镜像的shell脚本

#备份制作整个网站镜像的shell脚本

#暂时需用root

#!/bin/bash

#    HOW TO USE:
#    bash download_website.sh http://www.XXXXXXXXXXX

#判断是否输入
echo "输入的下载网址为:$1"

#判断有无web目录


if [ ! -e ./web_mirror ]
then
#
mkdir -p ./web_mirror/
cd web
#建立临时处理文本文件
touch ./url.txt ./url.txt.bak ./url.txt.02 ./url_download.log  
echo '网站镜像下载文件夹及信息日志已创建'
elif [ -e ./url_download.log ]
then
echo '网站镜像下载文件夹及信息日志已存在'
else
echo '检测到信息日志未创建'
touch ./url_download.log
echo '完成创建日志 url_download.log'
fi

#将网站连接诶写入用于处理的文件
echo $1 > ./url.txt
echo $1 > ./url.txt.02
echo $1 > ./url.txt.bak
echo $1 >> ./url_download.log

#将http://删除 ， 将所有/和.替换为下划线
cat url.txt | sed 's/^.\{7\}//g' |  sed 's/\//_/g' | sed 's/\./_/g'  > url.txt.02

URLX=$(cat url.txt.02)
echo $URLX


echo "准备创建文件夹名：$URLX"
echo "ready for creating DIR : $URLX"

#判断该网址入口是否已有文件夹
if [  ! -e $URLX ]
then
mkdir "$URLX"
echo "该网址入口目录已建立"
echo "DIR $URLX has been created"
else
echo "该网址入口目录已存在"
echo "DIR $URLX existed"
fi

#进入网址入口目录，将存有网址的文本放入该目录
cd "$URLX"
cp ../url.txt ./
mv ../url.txt.bak ./
mv ../url.txt.02 ./
mv ../url.txt ./"$URLX"

wget -e robots=off -w 3 -x -np -nH -pk -m -t 1 -P ./ $1

cd ..

#打包整个网站镜像
tar -cvf "$URLX".tar "$URLX"

ls -al

#将打包的整个网站镜像备份进/mnt目录下
cp "$URLX".tar /mnt/