shell脚本练习(一)

shell脚本练习(一)

用shell编写脚本，获取网页源码，下载当前网页的所有图片资源

#!/bin/bash
#编写脚本抓取单个网页中的图片数据

#网页源代码保存在文件中
URL="/tmp/SeedList_$$.txt"
curl -s https://www.jd.com/ >$URL

#对文本进行过滤
echo -e "\033[32m正在获取种子URL,请稍后...\033[0m"
sed -i '/<img/!d' $URL      #删除不包含<img的行
sed -i 's/.*src="//' $URL   #删除src="及前面的内容
sed -i 's/".*//' $URL       #删除双引号及其后面的所有内容
echo

# 检测系统如果没有wget下载工具则安装该软件
if ! rpm -q wget $> /dev/null;
then
yum -y install wget
fi

# 开始下载
echo -e "\033[32m 正在批量下载种子数据,请稍后...\033[0m"
for i in $(cat $URL)
do
    wget -P /tmp/ceshi/ -q https://www.jd.com/${i}
done

#删除临时种子列表文件
rm -rf $URL