爬虫weblech的使用

weblech下载

修改配置文件Spider.properties

saveRootDirectory = c:/weblech/sistes 设置文件的存放路径,默认为当前文件夹
mailtoLogFile = mailto.txt 设置邮件链接(mailto links)的存放文件
refreshHTMLs = true
refreshImages = false
refreshOthers = false //设置如果本 地硬盘已经存在待爬取的文件,是否重新载入文件
htmlExtensions = htm,html,shtm,shtml,asp,jsp,php 设置spider要下载资源的扩展名
imageExtensions = 同上
startLocation = http://www.sina.com.cn 设置spider爬行的起始页面

depthFirst = false 设置迚行广度优先爬行或深度优先爬行

maxDepth = 5 爬行的最大深度(第一个页面深度为0,其链接的深度为1)
urlMatch = 基本的URL过滤。下载的网页的网址中中必须包括urlMatch串
interestingURLs= sina.com.cn 优先级最高的网页
boringURLs=baidu.com 优先级最低的网页
basicAuthUser = myUser
basicAuthPassword = 1234 设置需要验证的网站的用户名和密码
spiderThreads = 15 爬行的线程数
checkpointInterval = 30000 设置写断点的时间间隔(ms)

运行run.sh开始爬行.

如果程序中断,运行resume.sh继续爬行.