guisu,程序人生。 逆水行舟,不进则退。

能干的人解决问题。智慧的人绕开问题(A clever person solves a problem. A wise person avoids it)...

搜索引擎相关资源

1. 开源项目 1.Lucene全文检索系统       http://lucene.apache.org和 http://www.lucene.com.cn/       Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即...

2012-09-29 11:10:21

阅读数:3641

评论数:0

链接分析算法之:HillTop算法

Hilltop算法是由Krishna Baharat 在2000年左右研究的,于2001年申请专利,但是有很多人以为Hilltop算法是由谷歌研究的。只不过是Krishna Baharat 后来加入了Google成为了一名核心工程师,然后授权给Google使用的。          在与Page...

2012-09-26 17:04:43

阅读数:9530

评论数:0

链接分析算法之:SALSA算法

SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点,既可以利用HITS算法与查询相关的特点,也可以采纳PageRank的“随机游走模型”,这是SALSA算法提出的背景。由此可见,SALSA算法融合了PageRank和HITS算法的基本思想,从实际效果来说,很多实验数据表明...

2012-09-25 17:04:43

阅读数:7925

评论数:0

链接分析算法之:HITS算法

HITS(HITS(Hyperlink - Induced Topic Search) ) 算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Cen...

2012-09-24 19:53:28

阅读数:45908

评论数:4

链接分析算法之:主题敏感PageRank

前面的讨论提到。PageRank忽略了主题相关性,导致结果的相关性和主题性降低,对于不同的用户,甚至有很大的差别。例如,当搜索“苹果”时,一个数码爱好者可能是想要看 iphone 的信息,一个果农可能是想看苹果的价格走势和种植技巧,而一个小朋友可能在找苹果的简笔画。理想情况下,应该为每个用户维...

2012-09-23 13:11:59

阅读数:11164

评论数:3

PageRank算法

1. PageRank算法概述          PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。         是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法,自从Google在商业上获得空前的成功后,该算法也...

2012-09-21 17:02:52

阅读数:135962

评论数:17

搜索引起的链接分析-计算网页的重要性

1. 链接分析        搜索引擎在查找能够满足用户请求的网页时,主要考虑两方面的因素:         网页和查询的相关性:是用户发出的查询与网页内容的内容相似性得分。         网页的重要性:通过链接分析方法计算获得的得分。         搜索引擎融合两者,共同拟合出相...

2012-09-19 18:12:22

阅读数:5020

评论数:0

机器学习排序

从使用的数据类型,以及相关的机器学习技术的观点来看,互联网搜索经历了三代的发展历程。        第一代技术,将互联网网页看作文本,主要采用传统信息检索的方法。        第二代技术,利用互联网的超文本结构,有效地计算网页的相关度与重要度,代表的算法有 PageRank 等。     ...

2012-09-18 16:00:39

阅读数:20062

评论数:3

搜索引擎的检索模型-查询与文档的相关度计算

1. 检索模型概述       搜索结果排序时搜索引擎最核心的部分,很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多,但最主要的两个因素是用户查询和网页内容的相关度,以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。        判断网页内容是否与...

2012-09-17 14:12:09

阅读数:18107

评论数:1

搜索引擎-处理查询

我们从用户的角度来看,用户不关心什么索引结构是倒排还是签名文件,也不需要知道相关排序算法。用户提交了查询,就需要获取满意的搜索结果。这个搜索结果就是搜索引擎是否提供有效的服务。 1.查询流程 查询流程图: 1)用户提交查询 2)分析查询      查询预处理:     ...

2012-09-14 18:19:40

阅读数:6055

评论数:2

倒排索引-搜索引擎的基石

1.概述       在关系数据库系统里,索引是检索数据最有效率的方式,。但对于搜索引起,他它并不能满足其特殊要求:       1)海量数据:搜索引擎面对的是海量数据,像Google,百度这样大型的商业搜索引擎索引都是亿级甚至几千的网页数量 ,面对如此海量数据 ,使得数据库系统很...

2012-09-12 16:47:11

阅读数:20563

评论数:1

搜索引擎-倒排索引基础知识

搜索引擎的索引 1.单词——文档矩阵        单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型,图3-1展示了其含义。图3-1的每列代表一个文档,每行代表一个单词,打对勾的位置代表包含关系。

2012-09-11 19:49:48

阅读数:85538

评论数:22

搜索引擎-网络爬虫

通用搜索引擎的处理对象是互联网网页,目前网页数量以百亿计,搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地,在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。 1. 网络爬虫本质就是浏览器http请求。      浏览器和网络爬虫是两种不同的网络客户...

2012-09-10 21:05:37

阅读数:25842

评论数:2

搜索引擎的技术架构

1. 搜索引擎的分类 搜索引擎按其工作方式主要可分为三种: 分别是全文搜索引擎(Full Text Search Engine) 目录索引类搜索引擎(Search Index/Directory) 元搜索引擎(Meta Search Engine)。  ■ 全文搜索引擎   全...

2012-09-07 17:30:24

阅读数:13262

评论数:1

PHP5.4最新特性

官网:ChangeLog-5.php#5.4.0 原文Oracle:LAMP 体系有了新的竞争,但此版本中的特性使 PHP 再次挑战极限。 稍微做了修改。: 概述总结: 1. 内存和性能改进:大型 PHP 应用程序中可节省 20-50% 的内存。通过各种优化使性能提高 10-30% 2. ...

2012-09-05 14:53:17

阅读数:6055

评论数:1

提示
确定要删除当前文章?
取消 删除