web网页相关的几个命令

1、wget
wget URL 【选项】
【选项】：
o : 将下载的内容以指定的文件保存；
t ： 可以指定在放弃下载之前尝试多少次； 后面接次数
–limit-rate 带宽 ：限制下载占用带宽；
-Q 配额大小： 指定最大下载配额quota ；
-c ：断点续传
–mirror ： 复制整个网站（即镜像）
–user username --password pass URL

2 、Lynx 是一个基于命令行的网页浏览器，以纯文本形式显示页面
使用lynx 命令，该命令需要安装lynx
#yum install -y lynx
选项：-dump 能够以纯ASCII编码的形式下载web页面。
#lynx -dump http://www.baidu.com > plain_text_page.txt
#cat plain_text_page.txt

3、curl 功能：下载、发送各种HTTP请求以及指定的HTTP头部
选项：-o ：指定输出文件名
-O : 指明将下载数据写入文件，采用从URL中解析文件名，URL必须完整的，不能只是站点域名
–silent ：不显示进度信息
-C :断点续传
参照页：位于HTTP头部中的一个字符串，用来标识用户是从哪里访问当前的网页的。
–referer :设置参照页字符串
设置cookie ：–cookieCOOKIE_IDENTIFER 可以指定提供哪些cookie，cookies需要指定以name=value的形式给出。
]# curl http://www.baidu.com --cookie “user=username;pass=hack”
选项 --cookie-jar 可以将cookie另存为文件：]# curl http://www.baidu.com --cookie-jar cookie_file
–limit-rate 带宽 ：限制带宽，用k 或m 指定下载速度。
-u username:password 指定用户名和密码，来完成HTTP和FTP认证；
-I 或 --head 只打印HTTP头部信息，不下载文件；
]# curl -I http://www.baidu.com