搜索引擎技术核心揭密(PHP) |
作者: 沙雨 加入时间: 2004-03-11 浏览次数: 234 编者按:这是一篇精彩的编程教学文章,不但详细地剖析了搜索引擎的原理,也提供了笔者自己对使用???编製搜索引擎的一些思路。整篇文章深入浅出,相信无论是高手还是菜鸟,都能从中得到不少的啟发。 谈到网页搜索引擎时,大多数人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用於搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎採用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术。理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快、更準确搜索到所需要的信息。 让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那麼我们是不是也可以使用别人现成的搜索引擎网站呢? 剖析编程思路 我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多餘的字符和代码,最后按所需要的格式显示在我们自己的网站页面裡。 这样,问题的关键就在於,我们要选定一个搜索信息準确(这样我们的搜索才会更有意义啊)、速度快(因為我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便於进行HTML源代码分析和剥离)的搜索网站,由於新一代搜索引擎Google的各种优良特性,这裡我们选择它為例,来看看用PHP怎样实现后台对Google(www.google.com)搜索、前台个性化显示这一过程。 我们先来看看Google的查询命令的构成。进入www.google.com网站,在查询栏中输入「abcd」,点击查询按钮,我们可以发现瀏览器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=",可见,Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。 瞭解File()函数 语法: array file(string filename); 返回值為数组,将文件全部读入数组变量中。这裡的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如: result=file(「http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=」),该语句将模拟我们在Google上查询单词「abcd」的过程,并将搜索结果以每行為元素,传回到数组变量 result中。因為这裡读取的文件是远程的,所以协议名「http://」不能缺少。 如果要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符「abcd」用变量替换: if (isset( keywords)) //提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行 上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。 对Google的分析 為了便於理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标誌、再次搜索的输入框和搜索结果说明等,并且在剩餘的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。 要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个<p>标记和倒数第二个<p>标记之间,并且倒数第二个<p>标记后紧跟table字符,而且这个组合「<p><table」在源码中也仅有一次,利用这个特点,我们可以这样去除Google的台头和脚注。 以下所有程序均依次接续在上文程序的「进一步处理」处。 result_string = strstr( result_string, "<p>"); //取 result_string从第一个<p>开始后的字符串,以去除Google台头 应用与实现 OK,现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用 语法:explode(string separator, string string); 返回一个数组,按separator切开后的各个小字串被保存在数组中。 於是: 我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其HTML显示格式代码,然后按要求替换就行了。下面用循环来处理 result_array中的每个条目。 对於每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含<br>标记,於是再次分割:(以下处理程序放在上文的循环中) 这样我们得到一个数组 every_item,其中 every_item 这样就修改了链接属性,其餘很多显示格式的修改、剥离、替换都能用正则替换eregi_replace()来完成。 至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这裡也不例外,我们其实还只是讨论了搜索结果的HTML剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相关的那些「类别」、「简介」等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析HTML进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎啦。 |
搜索引擎技术核心揭密(PHP)
最新推荐文章于 2021-03-10 23:20:21 发布