- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor
HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。 如何使...
2014-08-28 23:38:51
304
如何在你的应用中集成人机问答系统QuestionAnsweringSystem?
QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。IBM人工智能计算机系统"沃森"（Watson）在2011年2月美国热门的电视智力问答节目"危险边缘"（Jeopardy！）中战胜了两位人类冠军选手，QuestionAnsweringSystem就是IBM Watson的Java开源实现。 系统架构如下： ...
2014-08-24 12:07:19
263
原创 基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。 搜索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用。对大量信息的索引与搜...
2014-08-14 00:38:53
243
搜索引擎的分片（shard）和副本（replica）机制
搜索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。 分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力； 副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。 有2个分片和3份副本的索引结构如下所示： 一个完整的索引被切分为0和1两个独立部分，...
2014-08-13 18:37:54
251
动态索引结构和索引更新机制
ElasticSearch的Schema free特性给动态提取并索引网页结构化文本内容提供了支持，使用URL的hash值来作为索引的主键（实际开发中使用URL作为主键，这里使用URL的hash值是为了方便演示），当网页内容改变后，可以非常方便地更新索引。 下面演示了动态索引结构和索引更新机制： 1、提交索引： curl -XPUT http://localhost:9...
2014-08-13 18:29:28
177
QuestionAnsweringSystem v1.1 发布，人机问答系统
QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。IBM人工智能计算机系统"沃森"（Watson）在2011年2月美国热门的电视智力问答节目"危险边缘"（Jeopardy！）中战胜了两位人类冠军选手，QuestionAnsweringSystem就是IBM Watson的Java开源实现。 系统架构如下： ...
2014-08-07 23:41:00
271
AJAXAJAXAJAXAJAX
2008-10-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人