shell 抓取网站图片

#!/bin/bash
#功能描述(Description)编写脚本抓取单个 网页中的图片数据.
URL="/tmp/spider_$$.txt"

#将网页源代码保存到文件中.-s 静默下载
curl -s http://www.tomooc.cn/ > $URL

#对文件进行过滤和清洗.获取需要的种子URL链接.
echo -e "\033[32m正在获取种子URL,请稍后...\033[0m"
sed -i '/<img/!d' $URL     #删除不包含<img的行.
sed -i 's/.*src="//' $URL  #删除src=“及其前面的所有内容.
sed -i 's/".*//' $URL      #删除双引号及其后面的所有内容.
echo 

#检测系统如果没有wget下载工具则安装该软件.
if ! rpm -q wget &>/dev/null;
then
    yum -y install wget
fi
#wegt为下载工具，其参数选项描述如下：-P指定数据下载到特定目录,-q不显示下载过程.
echo -e "\033[32m正在批量下载种子数据,请稍后...\033[0m"
for i in $(cat $URL)
do
 wget -P /tmp/ -q $i
done
#删除临时种子列表文件.
rm -rf $URL