2012年09月_hguisu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 java(8)--线程ThreadLocal详解

一. ThreadLocal是什么1.1、ThreadLocal简介在JDK 1.2的版本中就提供java.lang.ThreadLocal，ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。在JDK5.0以后，ThreadLocal已经支持泛型，ThreadLocal类的类名变为ThreadLocal&lt...

2012-09-29 11:10:21 5943 2

原创链接分析算法之：HillTop算法

Hilltop算法是由Krishna Baharat 在2000年左右研究的，于2001年申请专利，但是有很多人以为Hilltop算法是由谷歌研究的。只不过是Krishna Baharat 后来加入了Google成为了一名核心工程师，然后授权给Google使用的。在与PageRank算法相比之下，Google意识到这个算法的进步会为他们的搜索排名带来非常重要的功能。Googl

2012-09-26 17:04:43 14361 1

原创链接分析算法之：SALSA算法

SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点，既可以利用HITS算法与查询相关的特点，也可以采纳PageRank的“随机游走模型”，这是SALSA算法提出的背景。由此可见，SALSA算法融合了PageRank和HITS算法的基本思想，从实际效果来说，很多实验数据表明，SALSA的搜索效果也都优于前两个算法，是目前效果最好的链接分析算法之一。从整体

2012-09-25 17:04:43 12661 1

原创链接分析算法之：HITS算法

HITS（HITS(Hyperlink - Induced Topic Search) ）算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为“CLEVER”的研究项目中的一部分。 HITS算法是链接分析中非常基础且重

2012-09-24 19:53:28 65120 3

原创链接分析算法之：主题敏感PageRank

前面的讨论提到。PageRank忽略了主题相关性，导致结果的相关性和主题性降低，对于不同的用户，甚至有很大的差别。例如，当搜索“苹果”时，一个数码爱好者可能是想要看 iphone 的信息，一个果农可能是想看苹果的价格走势和种植技巧，而一个小朋友可能在找苹果的简笔画。理想情况下，应该为每个用户维护一套专用向量，但面对海量用户这种方法显然不可行。所以搜索引擎一般会选择一种称为主题敏感PageRan

2012-09-23 13:11:59 15121 1

原创 PageRank算法

1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。目前很多重要的链接分析算法都是在PageRank算法基础上

2012-09-21 17:02:52 246098 24

原创搜索引起的链接分析-计算网页的重要性

1. 链接分析搜索引擎在查找能够满足用户请求的网页时，主要考虑两方面的因素：网页和查询的相关性：是用户发出的查询与网页内容的内容相似性得分。网页的重要性：通过链接分析方法计算获得的得分。搜索引擎融合两者，共同拟合出相似性评分函数，来对搜索结果进行排序。常见的链接分析算法除了鼎鼎有名的PageRan

2012-09-19 18:12:22 6179

原创机器学习排序

从使用的数据类型，以及相关的机器学习技术的观点来看，互联网搜索经历了三代的发展历程。第一代技术，将互联网网页看作文本，主要采用传统信息检索的方法。第二代技术，利用互联网的超文本结构，有效地计算网页的相关度与重要度，代表的算法有 PageRank 等。第三代技术，有效利用日志数据与统计学习方法，使网页相关度与重要度计算的精度有了进一步的提升，代表

2012-09-18 16:00:39 27274 2

原创搜索引擎的检索模型-查询与文档的相关度计算

1. 检索模型概述搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。判断网页内容是否与用户査询相关，这依赖于搜索引擎所来用的检索模型。检索模型是搜索引擎的理论基础，为量化相关性提供了一种数

2012-09-17 14:12:09 24891

原创搜索引擎-处理查询

我们从用户的角度来看，用户不关心什么索引结构是倒排还是签名文件，也不需要知道相关排序算法。用户提交了查询，就需要获取满意的搜索结果。这个搜索结果就是搜索引擎是否提供有效的服务。1.查询流程查询流程图：1）用户提交查询2）分析查询查询预处理： 1. 一般过滤掉助词或者标点符号之类，如中文的“的”，英文'The' . 另外对中文做分词处理获取检

2012-09-14 18:19:40 7135

原创倒排索引-搜索引擎的基石

1.概述在关系数据库系统里，索引是检索数据最有效率的方式,。但对于搜索引起，他它并不能满足其特殊要求： 1）海量数据：搜索引擎面对的是海量数据，像Google，百度这样大型的商业搜索引擎索引都是亿级甚至几千的网页数量，面对如此海量数据 ,使得数据库系统很难有效的管理。 2）数据操作简单：搜索引擎使用的数据操作简单 ,一般而言 ,只需要

2012-09-12 16:47:11 22794

原创搜索引擎-倒排索引基础知识

搜索引擎的索引1.单词——文档矩阵单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。

2012-09-11 19:49:48 97753 4

原创搜索引擎-网络爬虫

通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。1. 网络爬虫本质就是浏览器http请求。浏览器和网络爬虫是两种不同的网络客户端，都以相同的方式来获取网页： 1）首先，客户端程序连接到域名系统（DNS）服务器

2012-09-10 21:05:37 32503 1

原创搜索引擎的技术架构

1. 搜索引擎的分类搜索引擎按其工作方式主要可分为三种：分别是全文搜索引擎（Full Text Search Engine）目录索引类搜索引擎（Search Index/Directory）元搜索引擎（Meta Search Engine）。 ■ 全文搜索引擎　　全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaV

2012-09-07 17:30:24 16094 1

原创 java(7)-多线程和线程池

关于线程的基础知识：《Java线程-基础知识》一.Java实现多线程的三种方式先简单看看java多线程如何实现的：1、继承Thread类让自己的类继承 Thread 类：public class Test extends Thread { public static void main(String[] args) { Thread t = n...

2012-09-05 14:53:17 7630 3