#!/bin/bash
# egrep -o "https?://[a-zA-Z0-9\.+\/*]*"
i=3
while (($i >= 0 ))
do
read -p "输入一个url和探测深度: " url deep
num=`echo $url | egrep -o "https?://[a-zA-Z0-9\.+\/*]*"`
re=`echo $?`
#判断区
if (($re==1))
then
echo -e "请输入正确url\n"
else
break #跳出
fi
echo "还有$i次机会"
c=$((i-=1))
done
#第一层:
reurl=`curl $url | egrep -o "https?://[a-zA-Z0-9\.+\/*]*" > /root/rebug.txt `
top=1 #设置起始点
#嵌套层
deep=${deep:-1}
#循环层
while (($deep > 0 ))
do
con=`cat /root/rebug.txt`
len=`cat /root/rebug.txt |wc -l`
#top=0 #设置起始点
echo -e "第$deep层遍历\n"
#for i in $reurl
while (($len > $top ))
do
*************************#核心代码
echo $i,深度$deep
curl $i | egrep -o "https?://[a-zA-Z0-9\.+\/*]*" >> /root/rebug.txt
echo "-------"
top=$((top+=1))
done
deep=$((deep-=1))
done
shell版url链接爬虫--测试版
最新推荐文章于 2022-06-09 23:55:08 发布