一、简介
curl是linux下浏览页面的工具,同时也可用于下载。
二、常用操作
直接见代码,解释见注释。
#!/usr/bin/env bash url='http://www.ifeng.com/' detail_url='http://news.ifeng.com/a/20180125/55447893_0.shtml' ##查看,结果在屏幕上显示 curl ${url} ##下载到指定文件 curl -o test.html ${url} #下载,保留文件名 curl -O ${detail_url} ##下载到指定文件 curl ${url} >>test.html ##下载到指定目录下的指定文件 curl ${url} >>tmp/test.html #下载到指定目录下的指定文件,若目录不存在,则先创建 curl -o tmp/test.html --create-dirs ${url} #指定代理用户代理字符串 curl -A "Mozilla/5.0" ${detail_url} #静默模式,不输出耗时等信息,仅输出网页本身内容 curl -s ${detail_url} #输出response的header信息 curl -I ${url} #保存response的header信息到指定文件 curl -D header.txt ${url} #表单提交, -d 参数为"name1=val1&name2=val2" curl -d "name1=val1&name2=val2" ${url} #查看网页是否正常 curl -o /dev/null -s -w %{http_code} ${detail_url} #批量查看,动态变更地址, 这里为下载地址为${url}_1、${url}_2、${url}_3,这三个地址 curl "${url}_[1-3]" #批量下载,动态变更地址,同时保存到指定文件,其中{path1,path2}和[1-3]都是变量(类似变量还可以是[a-z],还可以指定每次前时步数,如[1-22:2],即1到22,每次进行两步,也就是1,3,5等),#1和#2代表变量 curl -o "#1_#2" "${url}_{path1,path2}_[1-3]"