用wget递归下载

最新推荐文章于 2023-08-15 17:01:03 发布
最新推荐文章于 2023-08-15 17:01:03 发布
阅读量161 收藏
点赞数
文章标签： 操作系统

[备忘]:Linux命令行下常用的http下载工具有wget和curl。

1. 这里用wget递归下载某目录下所有除html外的文件~

wget -r -np --reject=html www.download.example

其中：

-r, 表示递归下载当前页面所有（子）链接

-np，表示不去遍历父目录下内容

--reject=html，不接受扩展名为html的文件

或者可以把reject换做 --accept=iso,c,h，表示只接受以此结尾的文件，分隔符为逗号（comma-separated）

 

2. 用curl来查看http过程

curl -v here.is.your.url

我用该选项查看取服务器上主页的过程，主要是这里包括了http header：

zxluo@polaris:~$ curl -v 192.168.1.1
* About to connect() to 192.168.1.1 port 80 (#0)
*   Trying 192.168.1.1... connected
* Connected to 192.168.1.1 (192.168.1.1) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.21.0 (x86_64-pc-linux-gnu) libcurl/7.21.0 OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.15 libssh2/1.2.6
> Host: 192.168.1.1
> Accept: */*
> 
< HTTP/1.1 200 OK
< Date: Tue, 26 Feb 2013 07:52:54 GMT
< Server: Apache/2.2.16 (Debian)
< Last-Modified: Wed, 18 Apr 2012 12:18:11 GMT
< ETag: "a002-b1-4bdf30c7c06c0"
< Accept-Ranges: bytes
< Content-Length: 177
< Vary: Accept-Encoding
< Content-Type: text/html
< 
<html><body><h1>It works!</h1>
<p>This is the default web page for this server.</p>
<p>The web server software is running but no content has been added, yet.</p>
</body></html>
* Connection #0 to host 192.168.1.1 left intact
* Closing connection #0

 另外，curl -i here.is.your.url只显示response的头信息。

 

3. 表单提交

发送表单信息有GET和POST两种方法。GET方法相对简单，只要把数据附在网址后面就行。

curl example.com/form.cgi?data=xxx

　　POST方法必须把数据和网址分开，curl就要用到--data参数。

curl --data "data=xxx" example.com/form.cgi

　　如果你的数据没有经过表单编码，还可以让curl为你编码，参数是--data-urlencode。

curl --data-urlencode "date=April 1" example.com/form.cgi

　你可以用curl这样上传文件：

curl --form upload=@localfilename --form press=OK [URL]

 

4. HTTP认证

有些网域需要HTTP认证，这时curl需要用到--user参数。

curl --user name:password example.com

　　

参考资料：教你学用curl

weixin_34019144
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
wget 递归下载大部分网站目录
gfdgd xi
07-30 1407
你有听错吗？你以为我是一个标题党吗？没有听错，我也不是标题党，方法很简单，只需要一个叫做wget的小软件（Linux、Windows可以用，MAC没用过）就可以做到了。
wget 递归下载整个网站
01-28 827
这个Linux命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后，即可成为相当强大的下载工具。 wget -r -p -np -k http://xxx.com/xxx -r,  --recursive（递归）          specify recursive download.（指定递归下载） -k,  --convert-
wget 递归下载整个网站(网站扒皮必备)
weixin_30699465的博客
03-24 157
有时间看到别人网站的页面比较漂亮，就想给扒皮下来，学习学习。分享一个我常用网站扒皮命令wget 这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。 wget加上参数之后，即可成为相当强大的下载工具。 wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, --recursive（递归） specify recurs...
linux终端下载文件wget
weixin_34357928的博客
02-13 274
wget是linux下最常用的下载工具：一般使用的方式有两种：直接下来到当前目录下wget url;下载到直接的目录文件wget -O fileName url相关参数如下：[root@localhost ~]# wget --helpGNU Wget 1.12，非交互式的网络文件下载工具。用法： wget [选项]... [URL]...长选项所必须的参数在使用短选项时也是...
使用wget递归镜像网站
09-15
wget这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。
wget命令行下载工具
05-08
`wget`命令行下载工具是Linux环境中广泛使用的网络数据抓取工具，它允许用户通过命令行界面批量下载文件和整个网站。在没有图形用户界面（GUI）或者远程服务器管理的场景下，`wget`显得尤为实用。这个工具以其强大的...
wget网站下载工具
11-20
wget是一款强大的命令行网络下载工具，它在Linux系统中被广泛应用，同时也可在Windows等其他操作系统上通过模拟环境或专门的版本进行使用。wget以其非交互式、后台运行、续传功能以及广泛支持各种协议（如HTTP、...
windows 使用wget 下载命令
05-02
5. **下载网页中的链接**：使用`--recursive`和`--level`参数递归下载网页中的链接，如`wget64 --recursive --level=3 http://example.com`将下载三层深度的链接。 6. **登录和密码**：对于需要身份验证的网站，...
使用wget整站递归下载
qdblogs
11-01 97
下载命令： wget -r -p -np -k http://www.xxx.com
使用wget递归下载某目录下的所有文件
micahriven的专栏
09-29 3476
wget -c -r -nd -np -k -L -p -A c,h www.mydomain.com/pub/path/ -c 断点续传  -r 递归下载，下载指定网页某一目录下（包括子目录）的所有文件  -nd 递归下载时不创建一层一层的目录，把所有的文件下载到当前目录  -np 递归下载时不搜索上层目录。 如wget -c -r www.mydomain.com/pu
递归命令集Linux,用linux下常用命令wget进行整站下载（递归下载至本地）
weixin_39816448的博客
05-04 190
这个命令可以以递归的方式下载整站，并可以将下载的页面中的链接转换为本地链接。wget加上参数之后，即可成为相当强大的下载工具。-r, --recursive(递归) specify recursive download.(指定递归下载) -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载...
如何用wget递归下载网页？
Dontla的博客
05-26 1249
wget -r -p -np -k http://xxx.com/xxx -r, --recursive（递归） specify recursive download.（指定递归下载） -k, --convert-links（转换链接） make links in downloaded HTML point to local files.（将下载的HTML页面中的链接转换为相对链接即本地链接） -p, --page-requisites（页面必需元素） get all images, etc. needed
wget 下载文件及目录
我有一个魔盒的博客
08-15 2643
当递归检索时，永远不要上升到父目录。但是还是下载整个路径树的，想要只下载最后一层，使用。目录的逗号分隔列表，可能含通配符。目录的逗号分隔列表，可能含通配符。逗号分隔的文件名或模式列表。逗号分隔的文件名或模式列表。
wget 非递归下载
互联网
04-13 144
wget 非递归下载篇 1整体概括 上篇分析的是wget参数解析，本篇主要是分析wget非递归下载html或者文件。wget实际上就是通过sock 向web服务器发送http数据包(GET or POST)，web服务器收到请求后，发回回复包给wget，当然了http 传输层是tcp协议，简单来说wget 发tcp包，发送内容符合http协议，web服务器解析(such as nginx、ap...
文件的递归和下载
weixin_30326515的博客
07-05 116
一、上传文件 1、上传页面：upload.jsp 1 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> 2 3 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> 4 <h...
Linux命令--wget
Wang的博客
09-16 2449
wget GNU Wget 1.14，非交互式的网络文件下载工具。 用法： wget [选项]... [URL]... 长选项所必须的参数在使用短选项时也是必须的。 启动： -V, --version 显示 Wget 的版本信息并退出。 -h, --help 打印此帮助。 -b, --background 启动后转入后台。 -e, --execute=COMMAND 运行一个“.wgetrc”风格的命令。 日志和输
Linux的wget命令详解
文文的博客
09-05 9321
Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善，它支持断点下载功能，同时支持FTP和HTTP下载方式，支持代理服务器和设置起来方便简单。
怎么使用wget批量下载
最新发布
04-13
使用wget命令可以方便地进行批量下载。wget是一个非常强大的命令行工具，支持下载文件、整个网站以及FTP资源等。 要使用wget进行批量下载，你可以按照以下步骤进行操作： 1. 打开终端或命令提示符窗口。 2. 输入以下命令格式： ``` wget [选项] [URL] ``` 其中，[选项]是可选的，用于指定下载的方式和参数；[URL]是要下载的文件或网站的链接地址。 下面是一些常用的wget选项： - `-r`：递归下载，可以下载整个网站。 - `-np`：不跟随父级链接，只下载指定链接下的文件。 - `-nH`：不创建主机目录，直接将文件保存在当前目录。 - `-P`：指定保存文件的目录。 - `-nc`：不覆盖已存在的文件，跳过已下载的文件。 - `-nd`：不创建目录结构，将所有文件保存在当前目录。 以下是一个使用wget批量下载的示例： ``` wget -r -np -nH -P /path/to/save/files http://example.com/files/ ``` 上述命令将会递归地下载`http://example.com/files/`下的所有文件，并保存到指定的目录`/path/to/save/files/`中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值