发布分布式版本的spider了[hispider]

转载自： http://www.chinaunix.net/old_jh/23/1257018.html

严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异 步DNS解析, 队列化任务, 支持N机分布式下载.  工作流程:  从中心节点取URL(包括URL对应的任务号, IP和port,也可能需要自己解析)  -> 连接服务器发送请求  -> 等待数据头判断是否需要的数据(目前主要取text类型的数据)  -> 等待完成数据(有length头的直接等待说明长度的数据否则等待比较大的数字然后设置超时)  -> 数据完成或者超时, zlib压缩数据返回给中心服务器,数据可能包括自己解析DNS信息, 压缩后数据长度+压缩后数据, 如果出错就直接返回任务号以及相关信息  -> 中心服务器收到带有任务号的数据, 查看是否包括数据, 如果没有数据直接置任务号对应的状态为错误, 如果有数据提取数据种link 然后存储数据到文档文件.  -> 完成后返回一个新的任务.  Require  zlib http://www.zlib.net/  libiconv http://www.gnu.org/software/libiconv  libchardet 0.0.4+ http://code.google.com/p/libibase/downloads/list  libevbase 0.0.14+ http://code.google.com/p/sbase/downloads/list  libsbase 0.3.1+ http://code.google.com/p/sbase/downloads/list  Compile && install  ./configure && make && make install  View running state in Browser  http://127.0.0.1:3721/  Usage  hispiderd is control center hispider is download node  ./src/hispiderd -c doc/rc.hispiderd.ini ./src/hispider -c doc/rc.hispider.ini  特征和用法:  基于unix/linux系统的开发  异步DNS解析  URL排重  支持HTTP 压缩编码传输 gzip/deflate   字符集判断自动转换成UTF-8编码  文档压缩存储  支持多下载节点分布式下载  可通过http://127.0.0.1:3721/ 查看下载情况统计,下载任务控制(可停止和恢复任务)  依赖基本通信库libevbase 和 libsbase (安装的时候需要先安装这个两个库)  安装和使用  普通模式 :  ./configure && make && make install  调试模式(可查看更多的详细log) :  ./configure --enable-debug && make && make install  hispiderd为中心控制节点程序 配置文件为doc/rc.hispiderd.ini 配置文件里有一个basedir 所有的数据存储在这个目录下,hispider.doc为文档存储文件 hispider为下载节点程序 配置文件为doc/rc.hispider.ini 如果两个节点不在一台机器上需要配置server_ip 默认端口为3721  运行  ./hispiderd -c ../doc/rc.hispiderd.ini ./hispider -c ../doc/rc.hispider.ini  文档存储格式:  typedef struct _LHEADER    {          int ndate;          int nurl;          int nzdata;          int ndata;        }LHEADER;  顺序存储文档的头,url,文档压缩正文, 采用zlib压缩 ndata为正常长度, nzdata为压缩  后也就是存储的实际长度. nurl为url长度实际存储为url\0 长度为nurl+1  下载地址  hispider http://code.google.com/p/hispider/downloads/list  libchardet 0.0.3+ http://code.google.com/p/libibase/downloads/list  libevbase 0.0.14+ http://code.google.com/p/sbase/downloads/list  libsbase 0.3.1+ http://code.google.com/p/sbase/downloads/list