搜索引擎
文章平均质量分 77
sdfjlkjsdfsaldfsdf
safasfds
展开
-
动态索引结构和索引更新机制
ElasticSearch的Schema free特性给动态提取并索引网页结构化文本内容提供了支持,使用URL的hash值来作为索引的主键(实际开发中使用URL作为主键,这里使用URL的hash值是为了方便演示),当网页内容改变后,可以非常方便地更新索引。 下面演示了动态索引结构和索引更新机制:1、提交索引:curl -XPUT http://localhost:9...2014-08-13 18:29:28 · 177 阅读 · 0 评论 -
搜索引擎的分片(shard)和副本(replica)机制
搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。 分片技术为大规模并行索引和搜索提供了支持,极大地提高了索引和搜索的性能,极大地提高了水平扩展能力; 副本技术为数据提供冗余,部分机器故障不影响系统的正常使用,保证了系统的持续高可用。 有2个分片和3份副本的索引结构如下所示: 一个完整的索引被切分为0和1两个独立部分,...2014-08-13 18:37:54 · 251 阅读 · 0 评论 -
基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。 搜索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用。对大量信息的索引与搜...原创 2014-08-14 00:38:53 · 244 阅读 · 0 评论 -
阿里搜索引擎技术介绍
iSearch4性能优化之路.pptxiSearch5商品搜索特色功能.pptxiSearch5实现原理之实时搜索.pptxisearch5性能优化.pptxiSearch5调度系统.pptxiSearch演变历程.pptxOpenSearch.pptxSP-技术报告.pptx广告实时引擎.pp...2015-10-11 02:15:49 · 1183 阅读 · 0 评论