做个自己站内搜索引擎

原创 2004年09月29日 16:44:00
ccterran(原作)

作者:iwind

朋友用dreamweaver做了一个网站,没有动态的内容,只是一些个人收藏的文章,个人介绍等等。现在内容比较多了,想叫我帮他做一个搜索引擎。说实在的,这是一个不难的问题,于是就随手做了一个。现在我在其它论坛上也看到有人想做这个,于是就想说说这方面的知识,重在了解一下方法。

写程序前先要想好一个思路,下面是我的思路,可能谁有更好的,但注意这只是一个方法问题 :遍历所有文件 ? 读取内容 ? 搜索关键字,如果匹配就放入一个数组 ? 读数组。在实现这些步骤之前,我假定你的网页都是标准的,就是有标题(<title></title>),也有(<bod *></body>),如果你是用dreamweaver或者frontpage设计的,那么除非你故意删掉,它们都在存在的。下面就让我们一步步来完成并在工程中改善这个搜索引擎。

一,设计搜索表单
在网站的根目录下建个search.htm,内容如下
<html>
<head>
<title>搜索表单</title>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
</head>

<body bgcolor="#FFFFFF" text="#000000">
<form name="form1" method="post" action="search.php">
<table width="100%" cellspacing="0" cellpadding="0">
<tr>
<td width="36%">
<div align="center">
<input type="text" name="keyword">
</div>
</td>
<td width="64%">
<input type="submit" name="Submit" value="搜索">
</td>
</tr>
</table>
</form>
</body>
</html>


二,搜索程序
再在根目录下建个search.php 的文件,用来处理search.htm表单传过来的数据.内容如下
<?php
//获取搜索关键字
$keyword=trim($_POST[“keyword”]);
//检查是否为空
if($keyword==””){
echo”您要搜索的关键字不能为空”;
exit;//结束程序
}
?>

这样如果访问者输入的关键字为空时,可以做出提示。下面是遍历所有文件。

我们可以用递归的方法遍历所有的文件,可以用函数opendir,readdir,也可以用PHP Directory的类。我们现在用前者.
<?php
//遍历所有文件的函数
function listFiles($dir){
$handle=opendir($dir);
while(false!==($file=readdir($handle))){
if($file!="."&&$file!=".."){
//如果是目录就继续搜索
if(is_dir("$dir/$file")){
listFiles("$dir/$file");
}
else{
//在这里进行处理
}
}
}
}

?>

在红字的地方我们可以对搜索到的文件进行读取,处理.下面就是读取文件内容,并检查内容中是否含有关键字$keyword,如果含有就把文件地址赋给一个数组。
<?php
//$dir是搜索的目录,$keyword是搜索的关键字 ,$array是存放的数组
function listFiles($dir,$keyword,&$array){
$handle=opendir($dir);
while(false!==($file=readdir($handle))){
if($file!="."&&$file!=".."){
if(is_dir("$dir/$file")){
listFiles("$dir/$file",$keyword,$array);
}
else{
//读取文件内容
$data=fread(fopen("$dir/$file","r"),filesize("$dir/$file"));
//不搜索自身
if($file!=”search.php”){
//是否匹配
if(eregi("$keyword",$data)){
$array[]="$dir/$file";
}
}
}
}
}
}
//定义数组$array
$array=array();
//执行函数
listFiles(".","php",$array);
//打印搜索结果
foreach($array as $value){
echo "$value"."<br>/n";
}
?>

现在把这个结果和开头的一段程序结合起来,输入一个关键字,然后就会发现你的网站中的相关结果都被搜索出来了。我们现在在把它完善一下。
1,列出内容的标题

if(eregi("$keyword",$data)){
$array[]="$dir/$file";
}
改成
if(eregi("$keyword",$data)){
if(eregi("<title>(.+)</title>",$data,$m)){
$title=$m["1"];
}
else{
$title="没有标题";
}
$array[]="$dir/$file $title";
}
原理就是,如果在文件内容中找到<title>xxx</title>,那么就把xxx取出来作为标题,如果找不到那么就把标题命名未”没有标题”.

2,只搜索网页的内容的主题部分。
做网页时一定会有很多html代码在里面,而这些都不是我们想要搜索的,所以要去除它们。我现在用正则表达式和strip_tags的配合,并不能把所有的都去掉。

$data=fread(fopen("$dir/$file","r"),filesize("$dir/$file"));
//不搜索自身
if($file!=”search.php”){
//是否匹配
if(eregi("$keyword",$data)){
改为
$data=fread(fopen("$dir/$file","r"),filesize("$dir/$file"));
if(eregi("<body([^>]+)>(.+)</body>",$data,$b)){
$body=strip_tags($b["2"]);
}
else{
$body=strip_tags($data);
}
if($file!="search.php"){
if(eregi("$keyword",$body)){

3,标题上加链接
foreach($array as $value){
echo "$value"."<br>/n";
}
改成
foreach($array as $value){
//拆开
list($filedir,$title)=split(“[ ]”,$value,”2”);
//输出
echo "<a href=$filedir>$value</a>"."<br>/n";
}
4防止超时
如果文件比较多,那么防止PHP执行时间超时是必要的。可以在文件头加上
set_time_limit(“600”);
以秒为单位,所以上面是设10分钟为限。


所以完整的程序就是
<?php
set_time_limit("600");
//获取搜索关键字
$keyword=trim($_POST["keyword"]);
//检查是否为空
if($keyword==""){
echo"您要搜索的关键字不能为空";
exit;//结束程序
}
function listFiles($dir,$keyword,&$array){
$handle=opendir($dir);
while(false!==($file=readdir($handle))){
if($file!="."&&$file!=".."){
if(is_dir("$dir/$file")){
listFiles("$dir/$file",$keyword,$array);
}
else{
$data=fread(fopen("$dir/$file","r"),filesize("$dir/$file"));
if(eregi("<body([^>]+)>(.+)</body>",$data,$b)){
$body=strip_tags($b["2"]);
}
else{
$body=strip_tags($data);
}
if($file!="search.php"){
if(eregi("$keyword",$body)){
if(eregi("<title>(.+)</title>",$data,$m)){
$title=$m["1"];
}
else{
$title="没有标题";
}
$array[]="$dir/$file $title";
}
}
}
}
}
}
$array=array();
listFiles(".","$keyword",$array);
foreach($array as $value){
//拆开
list($filedir,$title)=split("[ ]",$value,"2");
//输出
echo "<a href=$filedir target=_blank>$title </a>"."<br>/n";
}
?>

到此为止,你已经做好了自己的一个搜索引擎,你也可以通过修改内容处理部分来改进它,可以实现搜索标题,或者搜索内容的功能。也可以考虑分页。这些都留给你自己吧。

这里说明一下用preg_match代替eregi,会快很多。这里只是为了通俗易懂,所以使用了常用的eregi.

一个简单的站内搜索引擎的实现

这学期的信息检索课程的实验要求做一个简单的站内搜索引擎,用来搜索山东大学新闻网(http://www.view.sdu.edu.cn/)的新闻内容。具体要求如下: 今天终于考完了这学期的最后...
  • john_bian
  • john_bian
  • 2017年07月05日 20:56
  • 2830

用Javascript制作站内搜索器

   用JavaScript做的站内搜索不仅编程实现、维护起来很简单,而且它能在客户端浏览器直接执行,无须服务器的支持,也可以省去申请有脚本执行权限空间的麻烦。所以,只要你愿意动手,有个人主页就能有自...
  • sunlen
  • sunlen
  • 2005年12月11日 17:01
  • 2264

如何搭建一个站内搜索引擎(一) 第1章 写在最前

从实现的角度去实现一个站内搜索引擎,对很多人来说,熟悉又陌生。熟悉,是因为每个人每天都能接触到,比如百度、google、淘宝内部搜索;陌生,是因为鲜有人了解他的原理。         因为工作需要,...
  • egg_0923lj
  • egg_0923lj
  • 2014年01月23日 19:54
  • 1857

关于站内搜索的那些事儿

前言 模块化 登录模块 博客扫描模块 博客详情模块 搜索模块 演示 案例一 案例二 总结前言之前学过一点点关于全文检索相关的技术,当时使用的是Java语言,Lucene和compass框架。有兴趣的话...
  • Marksinoberg
  • Marksinoberg
  • 2017年05月12日 13:10
  • 8460

我用Python写了一个搜索引擎

自己利用空闲时间写的一款再dos下运行的简单搜索引擎,可以再自己给定的网页范围内查找信息,并且下载指定网页上的内容。内中包含简单的工程文档,代码还算规范,所以不需要太多注释就基本能看懂。学习pytho...
  • StoryMonster
  • StoryMonster
  • 2016年12月29日 23:50
  • 1380

Java 调用Restful API接口的几种方式--HTTPS

摘要:最近有一个需求,为客户提供一些Restful API 接口,QA使用postman进行测试,但是postman的测试接口与java调用的相似但并不相同,于是想自己写一个程序去测试Restful ...
  • zpf336
  • zpf336
  • 2017年06月20日 10:29
  • 13447

java web api接口调用

Web Services 被W3C进行了标准化定义。 Web Services 发布到网上,可以公布到某个全局注册表,自动提供服务URL,服务描述、接口调用要求、参数说明以及返回值说明。比如中国...
  • ninifengs
  • ninifengs
  • 2017年08月17日 13:26
  • 1511

token的生成和应用

接口特点汇总: 1、因为是非开放性的,所以所有的接口都是封闭的,只对公司内部的产品有效; 2、因为是非开放性的,所以OAuth那套协议是行不通的,因为没有中间用户的授权过程; 3、有点接口需要用户登录...
  • zhu_xiao_yuan
  • zhu_xiao_yuan
  • 2017年08月09日 21:20
  • 2283

spring RestTemplate用法详解

前面介绍过Spring的MVC结合不同的view显示不同的数据,如:结合json的view显示json、结合xml的view显示xml文档。那么这些数据除了在WebBrowser中用JavaScrip...
  • wwwihpccn
  • wwwihpccn
  • 2014年06月13日 16:07
  • 158597

百度站内搜索框 自己定义样式、显示方式...(瓜头酱油的发现) 供 站内搜索入门 者围观

这次需要做一个百度的站内搜索, 刚开始做这个东西什么都不知道,心里急了, 公司的人 看我比较急也给我指定了一下,但是全公司就我一个PHP程序员, 还是我自己摸索吧, 哈哈哈哈 刚好现在找到了资料......
  • guatoujiangyou
  • guatoujiangyou
  • 2011年03月14日 12:57
  • 4594
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:做个自己站内搜索引擎
举报原因:
原因补充:

(最多只允许输入30个字)