linux shell脚本攻略 第五章 一团乱麻（web处理） wget curl

1.从web下载（wget）

wget url1 url2 url3
wget -t 5：重试次数，-t 0为一直重试
–limit-rate 20k：限速
-c：断点续传
–quota 100m：下载最大限额
--mirror --convert-links：递归遍历url并逐个下载
–user ian --password ian：传入用户名密码

2.下载纯文本文件

lynx -dump url > a.txt：下载纯文本网页

3.curl命令

–slient：避免显示进度信息
**-C：**断点续传
**–cookie：**添加cookie