fengbolaisearch-CSDN博客

原创抓取指定的html

1. Heritrix 简介Heritrix是一个专门为互联网上的网页进行存档而开发的网页检索器。它使用Java编写并且完全开源。它主要的用户界面可以通过一个web流量器来访问并通过它来控制检索器的行为，另外，它还有一个命令行工具来供用户选择调用。Heritrix是由互联网档案馆和北欧国家图书馆联合规范化编写于2003年初。第一次正式发布是在2004年1月，并不断的被互联网档案馆和其他

2010-01-11 22:39:00 4787 2

在研究搜索引擎的开发中，对于HTML网页的处理是核心的一个环节。网上有很多开源的代码，对于Java来说，HTMLParser是比较著名并且得到广泛应用的一个。HTMLParser的主页是http://htmlparser.sourceforge.net/，最后的更新是2006年9月的1.6版。不过没关系，HTML的内容已经很久没有大的变化了，HTMLParser处理起来基本没有任何问题。HTMLP

2010-01-07 16:29:00 685

原创 HTMLParser使用详解（2）

HTMLParser将解析过的信息保存为一个树的结构。Node是信息保存的数据类型基础。请看Node的定义：public interface Node extends Cloneable;Node中包含的方法有几类：对于树型结构进行遍历的函数，这些函数最容易理解：Node getParent ()：取得父节点NodeList getChildren ()：取得子节点的列表Node getFirst

2010-01-07 16:19:00 644

原创 HTMLParser使用详解（3）

HTMLParser遍历了网页的内容以后，以树（森林）结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。（一）Filter类顾名思义，Filter就是对于结果进行过滤，取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter，也可以分为几类。判断类Filter：TagNameFilt

2010-01-07 16:17:00 1160 2

原创抓取的一些疑问

1、heritrix的工作流是什么？2、如何加入自己的extractor？-OK3、什么时候用extractor，什么时候用Frontiercontrol？ FrontierScheduler是一个PostProcessor，它的作用是将在Extractor中所分析得出的链接加入到Frontier中，以待继续处理。在www.ctrip.com中我只想抓取一个链接，应该如何

2010-01-07 16:16:00 301

原创 20款开源搜索引擎

SphiderSphider是一个轻量级，采用PHP开发的web spider和搜索引擎，使用mysql来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改，已经有数千网站在使用它。RiSearch PHPRiSearch PHP是一个高效，功能强大的搜索引擎，特别适用于中小型网站。RiSearch PHP非常快，它能够在不到1秒钟内搜索5000

2009-11-23 21:13:00 596

原创 baidu's new search technology

无线搜索软件工程师工作职责：-负责无线搜索产品线的软件研发任务 -研究新技术、新服务在无线领域应用职位要求：-计算机软件或相关专业本科以上学历 -对高性能程序设计、结构有较多的工程经验，扎实的计算机基础，较强的算法能力，熟悉C/C++程序开发 -在无线移动业务开发有两年以上经验，对WAP/XHTML/HTTP等有深入了解 -有很强的学习能力，有主动性和上进心，能承担压力 -有搜索产品

2009-11-23 20:57:00 352

fengbolaisearch的专栏