2021-08-12-shell-爬取网页上的图片

爬取网页上的图片

#!/bin/bash
#脚本功能：抓取网页上的图片并下载
URL=/root/data/day03/$$.txt #定义一个变量，$$以脚本进程命名，这里即脚本执行则生成一个txt文件
curl -s https://www.tmooc.cn/ > $URL #获取网页源代码，并保存到变量URL中，-s静默获取屏幕无输出
#开始获取图片地址
echo -e "\033[32m getting url \033[0m"
sed -i '/<img/!d' $URL
sed -i 's/.*src="//' $URL
sed -i 's/".*//' $URL
echo
#判断若未安装wget则安装
if ! rpm -q wget &>/dev/null
then
    yum -y install wget
fi
#开始下载图片
echo -e "\033[32m start install \033[0m"
for i in $(cat $URL) #使用for循环对变量URL中图片的网址进行循环
do
    wget -P /root/data/day03/image/ -q $i  #使用wget下载图片并保存到指定路径，-P指定路径，-q静默下载
done