Linuxcurl命令参数详解


Linuxcurl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。
1.linuxcurl抓取网页:
抓取百度:
curlhttp://www.baidu.com
如发现乱码,可以使用iconv转码:
curlhttp://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
2.Linuxcurl使用代理:
linuxcurl使用http代理抓取页面:
linuxcurl使用http代理抓取页面:
curl-x111.95.243.36:80http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312curl-x111.95.243.36:80-Uaiezu:passwordhttp://www.baidu.com使用socks代理抓取页面:
curl--socks4202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
curl--socks5202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
代理服务器地址可以从看爬虫代理上获取。
3.linuxcurl处理cookies
接收cookies:
curl-c/tmp/cookieshttp://www.baidu.com#cookies保存到/tmp/cookies文件
发送cookies:
curl-b"key1=val1;key2=val2;"http://www.baidu.com#发送cookies文本curl-b/tmp/cookieshttp://www.baidu.com#从文件中读取cookies
4.linuxcurl发送数据:
linuxcurlget方式提交数据:
curl-G-d"name=value&name2=value2"http://www.baidu.com
linuxcurlpost方式提交数据:
curl-d"name=value&name2=value2"http://www.baidu.com#post数据curl-da=b&c=d&txt@/tmp/txthttp://www.baidu.com#post文件以表单的方式上传文件:
curl-Ffile=@/tmp/me.txthttp://tech.cxzzl.com.cn
相当于设置form表单的method=”POST”和enctype=’multipart/form-data’两个属性。
5.linuxcurlhttpheader处理:
设置http请求头信息:
curl-A"Mozilla/5.0Firefox/21.0"http://www.baidu.com#设置http请求头User-Agent
curl-e"http://pachong.org/"http://www.baidu.com#设置http请求头Referer
curl-H"Connection:keep-alive\n
User-Agent:
Mozilla/5.0"
http://tech.cxzzl.com.cn设置http响应头处理:
curl-Ihttp://tech.cxzzl.com.cn#仅仅返回header
curl-D/tmp/headerhttp://tech.cxzzl.com.cn#将httpheader保存到/tmp/header文件
6.linuxcurl认证:
curl-uaiezu:passwordhttp://tech.cxzzl.com.cn#用户名密码认证curl-Emycert.pemhttps://www.baidu.com#采用证书认证
7、其它
curl-#http://www.baidu.com#以“#”号输出进度条
curl-o/tmp/aiezuhttp://www.baidu.com#保存http响应到/tmp/cxzzl
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值