spider

• spider
  • 1. curl的基本使用
    • EX: 一句话查看网络IP
  • 2. wget的基本使用

spider

1. curl的基本使用

参数	作用	示例
-A	设置user-agent	curl -A “chrome” http://39.97.126.84:20090/get
-X	用指定方法	curl -X POST http://39.97.126.84:20090/post
-I	只返回请求的头信息	curl -I http://39.97.126.84:20090/get
-d	以POST方法请求URL,并发送相应的参数	-d a=1 -d b=2 -d c=3 -d “a=1&b=2&c=3” -d @filename
-O	下载文件以远程的文件名保存	curl -0 http://39.97.126.84:20090/image
-o	下载文件指定文件名保存	curl -o http://39.97.126.84:20090/image
-L	跟随重定向请求	curl -IL http://baidu,com
-H	设置头信息	curl -H -o image.webp “accept:image/webp” http://39.97.126.84:20090/image
-K	允许发起不安全的SSL请求	curl -K https://www.atc96.top | curl -KL https://www.atc96.top
-B	带cookie请求	curl -b a=test http://39.97.126.84:20090/cookies
-s	安静模式,不打印输出信息	curl -s http://39.97.126.84:20090/get

EX: 一句话查看网络IP

#http://39.97.126.84:20090/get 是http://httpbin.org/get
curl -s http://39.97.126.84:20090/get | grep origin | cut -d '\"' -f4
#alias之后 netip就是查看IP了
alias netip="curl -s http://39.97.126.84:20090/get | grep origin | cut -d '\"' -f4"

2. wget的基本使用

参数	作用	示例
-O	下载文件指定文件名保存	wget -O acc.png http://39.97.126.84:20090/image/png
	–limit-rate以指定的速度下载目标	wget -O acc.png –limit-rate=20k http://39.97.126.84:20090/image/png
-c	断点续传	wget –limit-rate=20k -bc http://qiniu-xpc0.xpccdn.com/5a9ce9df6bab2.mp4
-b	后台下载	wget –limit-rate=20k -bc http://qiniu-xpc0.xpccdn.com/5a9ce9df6bab2.mp4 & tailf wget-log
-U	设置User-agent	-U ‘Mozilla’
–mirror	镜像网站	wget –mirror -U “Mozilla” -p http://qiniu-xpc0.xpccdn.com/5a9ce9df6bab2.mp4
-p	下载相关资源
-r	递归下载所有链接
–convert-links	将链接转成本地链接	wget –mirror –convert-links -U “Mozilla” -cp https://fengchengshi.58.com/