- 博客(7)
- 收藏
- 关注
原创 抓取指定的html
1. Heritrix 简介Heritrix是一个专门为互联网上的网页进行存档而开发的网页检索器。它使用Java编写并且完全开源。它主要的用户界面可以通过一个web流量器来访问并通过它来控制检索器的行为,另外,它还有一个命令行工具来供用户选择调用。Heritrix是由互联网档案馆和北欧国家图书馆联合规范化编写于2003年初。第一次正式发布是在2004年1月,并不断的被互联网档案馆和其他
2010-01-11 22:39:00 4787 2
原创 HTMLParser使用详解(1)
在研究搜索引擎的开发中,对于HTML网页的处理是核心的一个环节。网上有很多开源的代码,对于Java来说,HTMLParser是比较著名并且得到广泛应用的一个。HTMLParser的主页是http://htmlparser.sourceforge.net/,最后的更新是2006年9月的1.6版。不过没关系,HTML的内容已经很久没有大的变化了,HTMLParser处理起来基本没有任何问题。HTMLP
2010-01-07 16:29:00 685
原创 HTMLParser使用详解(2)
HTMLParser将解析过的信息保存为一个树的结构。Node是信息保存的数据类型基础。请看Node的定义:public interface Node extends Cloneable;Node中包含的方法有几类:对于树型结构进行遍历的函数,这些函数最容易理解:Node getParent ():取得父节点NodeList getChildren ():取得子节点的列表Node getFirst
2010-01-07 16:19:00 644
原创 HTMLParser使用详解(3)
HTMLParser遍历了网页的内容以后,以树(森林)结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。(一)Filter类顾名思义,Filter就是对于结果进行过滤,取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter,也可以分为几类。判断类Filter:TagNameFilt
2010-01-07 16:17:00 1160 2
原创 抓取的一些疑问
1、heritrix的工作流是什么?2、如何加入自己的extractor?-OK3、什么时候用extractor,什么时候用Frontiercontrol? FrontierScheduler是一个PostProcessor,它的作用是将在Extractor中所分析得出的链接加入到Frontier中,以待继续处理。 在www.ctrip.com中我只想抓取一个链接,应该如何
2010-01-07 16:16:00 301
原创 20款开源搜索引擎
SphiderSphider是一个轻量级,采用PHP开发的web spider和搜索引擎,使用mysql来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改,已经有数千网站在使用它。RiSearch PHPRiSearch PHP是一个高效,功能强大的搜索引擎,特别适用于中小型网站。RiSearch PHP非常快,它能够在不到1秒钟内搜索5000
2009-11-23 21:13:00 596
原创 baidu's new search technology
无线搜索软件工程师工作职责:-负责无线搜索产品线的软件研发任务 -研究新技术、新服务在无线领域应用 职位要求:-计算机软件或相关专业本科以上学历 -对高性能程序设计、结构有较多的工程经验,扎实的计算机基础,较强的算法能力,熟悉C/C++程序开发 -在无线移动业务开发有两年以上经验,对WAP/XHTML/HTTP等有深入了解 -有很强的学习能力,有主动性和上进心,能承担压力 -有搜索产品
2009-11-23 20:57:00 352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人