使用wget命令、Curl 、lynx命令下载网站文件或网页

wget命令是一个用于文件下载的命令行工具,选项多,用法灵活。


wget命令选项


参数 描述

-a日志文件 在指定的日志文件中记录记录资料的执行过程

-A后缀名 指定要下载文件的后缀名,多个后缀名之间使用逗号进行分隔

-b 进行后台的方式运行wget

-B连续地址 设置参考的连续地址的基地址

-c 继续执行上一次终端的任务

-C标志 设置服务器数据块取功能标志on激活,off为关闭,默认值为on

-d 调式模式运行指令

-D域名列表 设置顺着的域名列表,域名之间使用“,”分隔

-e指令 作为文件“.wgetrc”中的一部分执行指定的指令

-i文件 从指定文件获取要下载的URL地址

-l目录列表 设置顺着的目录列表,多个目录用“,”分隔

-L 仅顺着关联的连接

-r 递归下载方式

-nc 文件存在时,下载文件不覆盖原有文件

-nv 下载时只显示更新和出错信息,不显示指令的详细执行过程

-q 不显示指令执行过程

-nh 不查询主机名称

-v 显示详细执行过程

--passive-ftp 使用被动模式PASV连接FTP服务器

--follow-ftp 从HTML文件中下载FTP连接

wget常用操作


下载一个单页面的网页:


[root@localhost text]# wget http://www.1987.name

--2012-12-10 14:04:20--  http://www.1987.name/

Resolving www.1987.name... 50.115.46.221

Connecting to www.1987.name|50.115.46.221|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: unspecified [text/html]

Saving to: `index.html'


    [  <=>                                                          ] 37,759      88.3K/s   in 0.4s    


2012-12-10 14:04:23 (88.3 KB/s) - `index.html' saved [37759]

指定多个URL:


wget URL1 URL2 URL3

使用 -O 指定输出文件名,使用 -o 指定一个日志文件:


wget http://www.1987.name/index.html -O default.html -o log

因为下载信息被写入到stdout,这里使用-o选项将信息写入到log,所以不会打印任何信息。


使用 -t 指定重复次数:


wget -t 10 URL

使用 --limit-rate 限速下载:


wget --limit-rate 50k http://www.1987.name/test.tar.gz

命令中可以使用 k、m 指定速度显示。


使用 --quota 或 -Q 指定最大下载配额,配额一旦用完,下载也随之停止:


wget -Q 200m http://www.1987.name/test1.tar.gz http://www.1987.name/test2.tar.gz

断点续传,之前任务被中断之后可以使用 -c 继续下载:


wget -c URL

复制或镜像整个网站,递归方式收集网站上的所有URL,逐个下载:


wget --mirror http://www.1987.name

或者

wget -r -N -l DEPTH URL

-l 是指定页面层级DEPTH,-r递归选项,-N允许对文件使用时间戳。


访问需要认证的HTTP,或者FTP页面:


wget --user username --password pwd URL

lynx命令


lynx命令是纯文本模式的网页浏览器,不支持图形、音频和javascript、CSS之类元素。


lynx命令选项


-case 在搜索字符串时候,区分大小写

-ftp 关闭FTP功能

-nobrowse 关闭目录浏览功能

-noclor 关闭色彩显示模式

-reload 更新代理服务器的缓存,只对首页有效

--color 如果系统支持彩色模式,则激活彩色模式

lynx常用操作


用lynx命令的 -dump 选项将网页以ASCII字符的形式下载文本文件中:


lynx -dump URL > text.txt


转载于:https://my.oschina.net/u/1038053/blog/411498

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值