小小脚本之 CDN中 测试客户注入的文件，在源站上是否存在，统计出来

在内容注入的时候，很多情况是因为客户源站资源404的情况，这个时候就需要和客户沟通。但是后台只会显示失败，具体的报错需要到后台查看，这样很不方便，因此写了一个小脚本，来判断资源是否是404导致的，如果是，整理出来给客户。
（其实绝大部分用到去重的功能，不去重只是为了看失败率的）

#!/bin/bash
read -p "是否去掉重复的任务？(yes or no)："  wasu
rm -f /root/all_sort.list
rm -f /root/404.txt

[ $# -ne 1 ] && echo "please enter if remove duplicate or not" && exit 1

[ $wasu = yes ] && sort -u /root/all > /root/all_sort.list && file=all_sort.list || file=all

while read line; do
        url=`echo $line | awk '{print $2}'`
        wget --spider -SO /dev/null $url 2>&1 |tee   /root/result >/dev/null

        grep "HTTP/1.1 404" /root/result >/dev/null
        if [[ $? -eq 0 ]]; then
                case $wasu in
                yes)

                        grep $url /root/$file >> /root/404.txt
                        ;;

                no)

                        echo $url >> /root/404.txt
                        ;;

                *)
                        echo "error parameter"
                        ;;
                esac
        fi
done < /root/$file
rm -f /root/result