#!/bin/bash
#
#批量下载页面以及页面引用图片的脚本
#
#write by since1986 at 2014-05-12
#页面引用图片的目标下载目录
img_download_destination_folder="/opt/gbk/inc/wbts"
#页面引用图片的下载列表文件
img_download_list_file_path="/tmp/page_and_img_download.list"
#页面引用图片的引用方式的正则
img_regex="http://\S*(\.jpg|\.gif)"
#读取下载任务定义文件 下载任务定义文件使用 每行一段 “要下载的页面链接=下载目标路径” 的形式定义多个下载任务
page_src_url_map=`cat page_urls.map`
#循环下载任务定义中的每一项下载任务
for line in $page_src_url_map
do
page_src_url=`echo $line | cut -d= -f1` #从下载定义中获得要下载页面的源地址
page_desc_path=`echo $line | cut -d= -f2` #从下载定义中获得要下载页面的目标路径
wget $page_src_url -c -O $page_desc_path #使用断点续传的方式下载页面
cat $page_desc_path | egrep -o $img_regex > $img_download_list_file_path #提取下载好的页面中包含的引用图片的链接并保存为下载列表文件
wget -c -P ${img_download_destination_folder}/img/ -i $img_download_list_file_path #依据引用图片下载列表文件下载引用图片
rm -rf $img_download_list_file_path #删除引用图片下载列表文件
done
写了一个批量下载页面以及页面引用图片的脚本
最新推荐文章于 2024-02-18 18:35:26 发布