python爬虫__wget_curl_ZHOU125disorder_

curl

• curl的使用

参数				说明								示列

-A				设置User-Agent											curl -A"chrome" https://www.baidu.com
-X				使用指定的方法请求									curl -X POST https://www.baidu.com(发起post请求)或curl -X GET https://www.baidu.com(发起get请求)
-I  				只返回头信息												curl -I https://www.baidu.com
-d					以post方法请求url并发送相应的参数			-d a=1 -d b=2 -d c=3		||		-d"a=1&b=2&c=3"		||		-d@filename	
-O				下载文件并以远程的文件名保存					culr -O 图片路径
-o					下载文件并以指定的文件名保存					curl -o (图片名) 图片路径
-L					跟随重定向请求											curl -IL https://www.baidu.com
-H				设置头信息													curl -o image.webp -H "accept:image/webp"http://httpbin.org/image
-K				允许发起不安全的SSL请求
-b					设置cookies													curl -b value=love http://httpbin.org/cookies			{"cookies": {"value": "love"}}
-s					不显示其它无关信息
-v					显示连接过程中所有的信息

wget

• wegt的使用

-O						以指定的文件名保存下载的文件		wegt -O test.png http:httpbin.org/imgage/png
--limit-rate			以指定的速度下载目标文件				--limit-rate=996k
-c							断点续传
-b							后台下载
-U						设置User-agent			
--mirror				镜像某个网站
-p							下载页面中所有相关的资源
-r							递归下载所有的链接

• 镜像下载整个网站并保存到本地

wegt -c --mirror -U "mozilla" -p --convert - links http://docs.python-requests.org