Web侦察工具HTTrack (爬取整站)

Web侦察工具HTTrack (爬取整站)

HTTrack介绍

爬取整站的网页,用于离线浏览,减少与目标系统交互,HTTrack是一个免费的(GPL,自由软件)和易于使用的离线浏览器工具。它允许您从Internet上下载万维网站点到本地目录,递归地构建所有目录,从服务器获取HTML,图像和其他文件到您的计算机。HTTrack安排原始网站的相关链接结构。只需在浏览器中打开“镜像”网站的页面,即可从链接到链接浏览网站,就像在线查看网站一样。HTTrack也可以更新现有的镜像站点,并恢复中断的下载。HTTrack完全可配置,并具有集成的帮助系统。

 

HTTrack使用

1.先创建一个目录,用来保存爬下来的网页和数据

root@kali:~# mkdir dvwa

  

 

2.打开Httrack

root@kali:~# httrack

 

3.给项目命名

Enter project name :dvwa

  

 

4.保存到哪个目录

Base path (return=/root/websites/) :/root/dvwa

  

 

5.网站的url

Enter URLs (separated by commas or blank spaces) :http://192.168.14.157/dvwa/

  

 

 

6.

Action:

(enter)

1 Mirror Web Site(s)

2 Mirror Web Site(s) with Wizard

3 Just Get Files Indicated

4 Mirror ALL links in URLs (Multiple Mirror)

5 Test Links In URLs (Bookmark Test)
0 Quit
:2

 

//1:直接镜像站点
//2:用向导完成镜像
//3:只get某种特定的文件
//4:镜像在这个url下所有的链接
//5:测试在这个url下的链接
//0:退出

 

7.是否使用代理

 

 8.你可以定义一些字符,用来爬特定类型的数据,我们全部类型数据都爬得话,设置*

 

9.设置更多选项,使用help可以看到更多选项,我们默认,直接Enter

 

 10.开始爬站

 

 11.查看结果

 

 

 

 

转载于:https://www.cnblogs.com/-wenli/p/9911881.html

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
整站下载工具又称为web镜像类工具,它是一种方便用户将整个网站或特定网页下载到本地保存的软件。这些工具可以把网站的所有文件、页面和链接都下载下来,以便用户在没有网络连接的情况下查看网站的内容。 整站下载工具有很多种,其中最常见的包括HTTrack、Wget和WebCopy等。这些工具通常提供了用户友好的界面,使用户能够轻松配置下载选项,例如指定要下载的网站、保存位置、下载深度等。用户还可以选择是否下载站点中的所有文件,或者只下载特定类型的文件(如HTML、CSS、图像文件等)。 整站下载工具的用途非常广泛。对于网站管理员来说,他们可以使用这些工具来备份他们的网站,以便在服务器故障或其他问题导致数据丢失时能够快速恢复。此外,整站下载工具还可以用于离线阅读网站内容,尤其是对于大型网站或文档类网站,这对那些需要经常查阅或参考网站内容的人来说非常方便。 然而,整站下载工具也存在一些潜在的问题和限制。首先,由于网站内容更新频繁,下载的内容可能不是最新的。其次,部分网站可能限制下载操作,例如设置了反爬虫策略,这样使用整站下载工具可能会触发网站的安全机制。此外,对于大型网站来说,整站下载可能需要较长的时间和大量的存储空间。 总之,整站下载工具是一种非常实用的工具,可以方便地将网站内容下载到本地供离线使用。但在使用时需要注意一些限制和问题,同时也要遵守网站所有者的相关规定和法律法规,避免产生侵权等问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值