curl
-A 设置user-agent curl -A "chrome" http://www.baidu.com
-X 用指定方法请求 curl -X POST http://httpbin.org/post
-I 只返回请求的头信息
-d 以post方法请求url,并发送相关参数 -d"a=1&b=2" -d @file
-O 下载文件并以远程文件名保存
-o 下载文件并以指定文件名保存 curl -o a.jpg www.a.com/jpg.jpg
-L 跟随重定向请求 curl -IL baidu.com
-H 设置头信息 curl -o img.png -H "accept:image/png" baidu.com
-k 允许发起不安全的SSL请求
-b 设置cookies curl -b a=abc http://httpbin.org/cookies
-s 不显示其他无关信息
grep -E 定义正则表达式 -v 取反 cut -d "\"" -f4
-v 显示连接过程中的所有信息
wget
-O 以指定文件名保存下载文件 wget -O test.png a.com
-c 断点续传
--limit-rate 以指定速度下载 --limit-rate=200k
-b 后台下载
-U 设置user-agent
--mirror 镜像某个目标网站
-p 下载页面中相关资源
-r 递归下载所有网页中的链接
--convert-links 将页面需要用到的内容转换成本地的连接