[转]Httrack工具与使用指南

  1. HTTrack工具介绍

    HTTrack是一个网站镜像工具,本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像,这也逐渐应用到 SEO(搜索引擎优化)工作中。其实这两种看似不同的爬虫做的都是同样的工作,就是复制网站并存储下来(网站在搜索引擎中的网页快照就是被存储下来的内容)。

HTTrack Website Copier界面如下图所示:

 

    我们一般用 HTTrack Website Copier 来对网站进行检测或测试,模拟爬虫对受保护服务的爬行、抓取、收录,以来测试我们的防护设备对爬虫的防护。

  1. HTTrack工具使用

第一步:创立项目的名称(工程名)

第二步:选择操作方式,再点击添加URL”,将我们的网站地址添加进去。

 

    第三步:进入选项,设定爬行和抓取规则等选项

 

在选项中,取消使用代理进行FTP传输

进入扫描规则,为HTTrack程序设定爬行和抓取规则,HTTrack里面自带了一些,可以自己设置,也可以默认。

 

这样的扫描规则搜索引擎也一定会有的,比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接, 如 ad.doubleclick.net 。你需要把一些搜索引擎爬虫不收录的特征加进去。

然后在“搜寻”里面,很多的特征都是现在搜索引擎爬虫的特征:

 

一般的搜索引擎不会接收cookies,因此测试时我们也将此项去掉。

第四步:一般按照以上设置就可以,其他的默认就行。点击下一步:

 

在此页面,我们不用选择任何项,直接点击完成就可以进行测试了,如下图

 

    此时,HTTrack开始对网页进行爬行,抓取。

原文地址:https://wenku.baidu.com/view/b128946327d3240c8447ef61.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值