搜索引擎:平移算法简介

原创 2005年05月29日 01:30:00
 

在开发新闻搜索引擎的时候,出现一个问题就是有很多的新闻属于转载的形式,要判断新闻是否转载,经过实验,我发现可以用“平移”算法来实现。

"平移算法"非常简单易用,就是比较两个文章/字串中最高的重叠率和平均重叠的长度。
例如我们有两个文章的标题:

"报告显示中国ip视频通信应用早于西方国家_通讯与电讯_科技时代_新浪网"
http://tech.sina.com.cn/t/2004-12-01/1231468255.shtml

"权威机构调查显示中国ip视频通信应用早于西方_搜狐it"
http://it.sohu.com/20041201/n223268718.shtml

以上两个新闻是转载同一来源,但是略做了更动,根据平移算法,我们固定一个字串,然后将另外一个字串从末尾对应第一字串的开头进行平移,然后计算两个字串之间的交集。如果字符完全一样则为1,不一样为0,将所有的值加起来。

"________报告显示中国ip视频通信应用早于西方国家_通讯与电讯_科技时代_新浪网"
"权威机构调查显示中国ip视频通信应用早于西方_搜狐it"
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0"

可以看到当B和A平移到一定的位置的时候能够找到最大的重叠度。上例是14个连续字符。

相识性:AB重叠部分/(A的长度 + B的长度 - AB重叠的长度)
14/ (33+25-14) = 31%

一般超过20%即可判断为相同主题或者是转载同一来源。

平移算法的功能:

1] 实现对高度相识性的文章进行识别。转载,来源的识别。

2] 可以发现主题,发现核心内容。

例如实现匹配的部分,上例是

A&B = “中国ip视频通信应用早于西方”

是完全匹配的部分,就是相识文章的最核心的内容。


作者Blog:http://blog.csdn.net/fasttalk/

CF协作过滤简介,搜索引擎算法

Collaborative filtering协同过滤介绍:http://hi.baidu.com/_eric/blog/item/a82564d02145018da0ec9c28.html 推荐系...

图像平移算法

  • 2007年07月30日 03:33
  • 319KB
  • 下载

游戏开发中的数学和物理算法(17):平移

游戏开发中的数学和物理算法(17):平移 点的平移,可以通过矩阵相加和相乘来模拟。 2D加法平移: 例如: 点A(20,30),向右移50个像素,向下移100个像素,得...

数字图像处理,相位相关算法解决图像的刚性平移问题

参考论文中的文字:图像配准是图像处理的基本任务之一,用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的关于同一目标或场景的两幅或多幅图像进行主要是几何意义上的匹配套和的过程。在对图像配准的研究...

PhotoShop算法实现-- 图像平移(十五)

图像的几何变换又称为空间变换,它研究的是图像中的点与点直接的空间映射关系。几何变换包括平移、缩放、裁剪、旋转、翻转、转置、倾斜等。本文将介绍图像的平移。图像平移(Translate)是将图像中的所有点...

游戏开发中的数学和物理算法(17):平移

游戏开发中的数学和物理算法(17):平移

搜索引擎简介及网页优化方法

  • 2013年12月03日 21:52
  • 17KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:搜索引擎:平移算法简介
举报原因:
原因补充:

(最多只允许输入30个字)