使用wget遍历下载http目录

0x00 下载HTTP目录下全部文件

命令

wget -c -r -np -k -L -p www.evil.com/samples/

执行后wget会创建一个该网站名称的目录保存递归下载的全部文件。这种下载的方式的好处是保持原有目录结构，条理清晰。

参数解释

-c 断点续传
-r 递归下载，默认深度是5层，可以通过-l参数指定depth。
-np --no-parent 递归下载时不访问父级目录，能够有效的控制下载范围。
-nd 递归下载时不会递归创建目录，会把所有的文件保存到一个目录里。
-k 转换下载网页中的链接，如果下载了链接资源，会转换成相对路径，如果链接是外部资源或者没下载，就会转换成绝对路径。好处是下载后可以脱机浏览，是个比较有用的参数。
-L 递归下载时只取同一主机下的相对资源。
-p 下载遍历到的网页中所有的文件资源，保证超过深度限制的资源被下载。
-P 指定下载目录

0x01 下载整个网站做镜像

命令

wget -r -p -np -k http://www.wooyun.org

或者

wget -m -L -k -p http://www.wooyun.org

0x02 下载特定网页的全部图片

命令

wget -p -A jpg,png https://www.anquanke.com/post/id/220507 -P newdir