小型站内搜索引擎

最新推荐文章于 2024-06-06 09:41:39 发布
最新推荐文章于 2024-06-06 09:41:39 发布
阅读量4k 收藏 16
点赞数 2
分类专栏： 其他 文章标签： 搜索引擎 站内搜索引擎 结巴分词 jsoncpp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/edc370/article/details/87933967
版权
本文介绍了如何构建一个小型的站内搜索引擎，主要针对PHP官方帮助文档的检索。文章讲解了正排索引和倒排索引的概念，并详细阐述了从HTML文件处理、索引构建到搜索模块的实现过程，以及在项目开发中遇到的问题和解决方法。项目使用了Boost库、cppjieba（结巴分词）、jsoncpp和cpp-httplib等第三方库。
摘要由CSDN通过智能技术生成

写在前面

关于搜索引擎我们平时接触到的再多不过了，谷歌、必应、搜狗等，当然这些搜索引擎都是属于比较大型的搜索引擎，他们基本上是可以对全网的网页数据进行搜索的

通常我们在使用搜索引擎时，我们输入完搜索内容之后进行搜索，搜索引擎会在一个极短的时间内为我们反馈出来上万条甚至几十万条跟搜索内容相关的数据

其实我们知道这个搜索的过程其实是将用户的搜索请求对各个网页的html文件内容进行匹配关键字，说通俗一点其实也就是一堆在文件里面找一段字符串，如果这个文件中有这段字符串，那么就认为这个html文件跟搜索的关键词相关，然后将这个html文件的标题，内容摘要，以及对应在互联网中的URL作为一条搜索结果反馈给用户

对于在文件中查找相关搜索关键词的过程我们不难理解，但是搜索引擎是如何能够在短时间内反馈给用户这么准确并且大量的数据呢，这里我们就要涉及到两个索引：正排索引、倒排索引

 

正排索引

  • 正排索引说通俗一点就是通过一个文档ID，我们可以得到这个文档ID所对应的文档内容

最低0.47元/天 解锁文章
NiuBenn
关注
专栏目录
站内搜索引擎
qq_36135258的博客
06-05 2308
java web课程设计题目之一是做搜索引擎，简单的记录下过程。功能是搜索湖南科技大学计算机学院官网的新闻  http://computer.hnust.edu.cn/a/xueyuanxinwen2/list_52_1.html爬取新闻在计算机学院官网爬取新闻的链接 标题 发布日期 新闻内容，每一条新闻保存为一个txt文件，以日期命名txt文件内容爬虫写的比较笨拙，因为官网新闻有些格式标签不一致...
轻松拥有自己的站内搜索引擎
mybizsite的专栏
01-15 1231
很多个人网站的站长都希望为自己的网站建立一个站内搜索引擎，但一不熟悉ASP、PHP、JSP等动态开发技术，另外自己建立站内搜索也需要空间支持相应的动态技术，所以常不得已放弃。其实，何不借用Google打造站内搜索引擎，来方便网友对自己网站的内容进行查找。 若想在某特定网站内搜索特定的内容(如搜索www.cfan.com.cn中包含关键字“网络”的内容)，只需要在Google的搜索栏里输入:“网
32个小众搜索网站，相信一定有你想要的
最新发布
破损的天堂鸟博客
06-06 3919
首先问你一个问题，你平时都会用什么搜索引擎来进行搜索？ 下面我将推荐32个小众搜索网站，相信一定会有你想要的。 1、多吉搜索 首先对因为拒绝商业化黑客攻击、不可抗力而停止服务的多吉搜索表示哀悼，这款由个人开发的小众搜索引擎如今已经停止服务了半年。 2、magi（Magi） 这是一个基于机器学习的搜索引擎，它不仅会为你展示普通的搜索结果，同时还会为你提供由机器学习完成的高聚合的结构化知识结果。比如我搜索哔哩哔哩，他会告诉我这是国内最大的年轻人潮流文化娱乐社区，简称是B站，这一切都是由AI自动学习
使用PHP+Sphinx建立高效的站内搜索引擎
10-20 137
（本文于2010.10.01发表在《草根》杂志第四期,LAMP交流超级群（500人）：106382633） 1. 为什么要使用Sphinx 假设你现在运营着一个论坛，论坛数据已经超过100W，很多用户都反映论坛搜索的速度非常慢，那么这时你就可以考虑使用Sphinx了（当然其他的全文检索程序或方法也行）。 2. Sphinx是什么 Sphinx由俄罗斯人Andrew ...
中小型网站站内搜索引擎的设计与实现
06-29
### 中小型网站站内搜索引擎的设计与实现 #### 1. 概述 随着互联网的快速发展，网站数量激增，信息量急剧膨胀。为了提高用户体验，许多中小型网站开始重视站内搜索功能的建设和优化。传统的站内搜索往往依赖于关系...
小型搜索引擎.zip
03-18
【标题】"小型搜索引擎.zip" 是一个包含了实现基础搜索引擎所需组件的项目，旨在帮助学习者理解和构建自己的搜索引擎。这个搜索引擎的实现涵盖了从网页抓取、索引构建到搜索结果展示的全过程。 【描述】提到的几个...
python写的小型搜索引擎
12-29
自己利用空闲时间写的一款再dos下运行的简单搜索引擎，可以再自己给定的网页范围内查找信息，并且下载指定网页上的内容。内中包含简单的工程文档，代码还算规范，所以不需要太多注释就基本能看懂。学习python没多久的同学可以看一下，对于学习python能够给出一定的启发
完整的站内搜索引擎(Lucene.Net+盘古分词)
03-03
功能简介 站内搜索使用的技术 Log4Net 日志记录 lucene.NET 全文检索开发包,只能检索文本信息 分词（lucene.Net提供StandardAnalyzer一元分词,按照单个字进行分词,一个汉字一个词） 盘古分词 基于词库的分词,可以维护词库 首先我们新增的SearchHelper类需要将其做成一个单例,使用单例是因为：有许多地方需要使用使用，但我们同时又希望只有一个对象去操作。 其次,使用Lucene.Net需要将被搜索的进行索引,然后保存到索引库以便被搜索,我们引入了“生产者,消费者模式”. 生产者就是当我们新增,修改或删除的时候我们就需要将其在索引库进行相应的操作,我们将此操作交给另一个线程去处理,这个线程就是我们的消费者,使用“生产者,消费者模式”是因为:索引库使用前需解锁操作,使用完成之后必须解锁,所以只能有一个对象对索引库进行操作,避免数据混乱,所以要使用生产者，消费者模式 首先我们来看生产者。 代码完善，已经部署到大型电子商务中使用，性能非常好。
易搜索 站内全文检索搜索引擎 v1.0.rar
07-09
导航的根源在于分类，当有100条信息的时候，我们使用类别来定位信息，当有10000条信息的时候，我们用标签来定位信息，当有100..00条信息的时候，无论怎么分类都是难以寻找的，于是就有了搜索… 当一个网站信息越积越多，搜索将会变得越来越重要。以至于终于有一天，当网站发现50%以上的用户来到你的网站第一件事是搜索的时候，搜索就将成为没有“导航”的导航。因此站内搜索成了网站建设的当务之急。随着网络应用的深入，信息量的爆炸性增长，站内搜索成为每个优秀网站必须具备的功能。纵观中国大中小网站，绝大多数网站在海量数据面前一筹莫展，主要表现为： 1、 搜索结果不够精确。索出来的结果往往不是我们需要的，你不得不进行若干次翻页，才能找到自己需要的内容。 2、 搜索速度慢、极慢。一般的搜索都是通过SQL语句中的LIKE关键字实现搜索功能，但LIKE在数量较大时，速度很慢，甚至会导致服务器磐机。 3、 搜索不到正文。与第二条类似，LIKE关键字只能对短文本进行比较操作，而对正文这种长文本，不能进行操作，这时我们的正文中即使有我们需要的内容，但却不能完成搜索任务。 4、 不支持多关键词搜索。只能对一个关键词进行搜索，在实际搜索中，搜索者一般会通过两个关键词进行搜索，缩小搜索范围，以达成自己的意愿。 5、 超长词条搜索不到结果。如果要让超长词条进行完全匹配，那搜索结果可能会极为稀少或者根据找不到搜索结果。 6、 比以上情况稍好的情况。在有的CMS系统中，可以为正文指定关键词，但由于并非专门的搜索引擎算法及结构，也只能是杯水车薪、望洋兴叹，如1、并不能进行相关度排序，2、必须手动或者半自动完全关键词，3、同样不支持超长词条搜索，4、搜全率低，5、新词不能识别，6、只能对CMS范围内的网页进行搜索，7、人工操作效率低下，等等。 为解决以上问题，边缘工作室经过长期的调研，不断摸索、反复实验，厚积薄发，并根据当前趋势开发出了“易搜索-智能全文检索站内搜索引擎”，简称为YSS，使以上问题迎刃而解。YSS主要有以下特点： 1、如你所需，他是真正的搜索引擎： 2、 网页蜘蛛灵活高效。 3、可控的正文提取。 4、可控的中文分词及新词学习。 5、无人值守。 6、BS架构，虚拟主机支持。 7、强大功能，简单使用。 8、个性化。 9、增强网站软实力： 9.1快速找到访问者所需信息，更好的浏览体验，提高用户操作的友好度 9.2提高的用户粘度 9.3提高的PV量 9.4增强网站技术含量 9.5领先竞争对手 9.6让你的网站更专业
这是一个小型的网络空间搜索引擎
02-22
这个小型搜索引擎可能集成了这些功能，帮助用户更好地探索和理解网络空间的数据。 总结来说，这个项目是一个利用Elasticsearch构建的网络空间搜索引擎，结合Python爬虫技术，可能还融入了人工智能元素以提升搜索...
PHP+MYSQL+SCWS 做自己的站内搜索引擎
Java/Android/IOS/前端/云计算
01-21 2735
九月 8th, 2010 21:59:25发表评论阅读评论 天底下竟然有这么一种站内搜索引擎,它支持中文分词,支持全文搜索,无须任何扩展,不用对服务器进行任何设置,只要支持PHP和MYSQL就行,他操作简单,效率高,效果好.这就是PHP+MYSQL+SCWS 站内搜索引擎. 事实上,无论大小,从新浪到爱卡汽车网,从日PV过亿的网站到我自己的个人博客,都需要站内搜索引擎.
一个小型的搜索引擎
阿飞的专栏
08-14 809
<br />  根据上一篇文章，想继续做点东西，就重新更新了数据结构，做了一个小型的搜索引擎。<br />主要功能，给一个初始URL，以此URL向外发散，根据是否有关键字继续页面信息，并会计算页面的PR值（并未使用GOOGLE的pr算法，自己简单计算），最后输出含有关键字的页面（从大到小，关键字要手动指定）。<br />PS：因为网页太大了，可以指定搜N层，N层后停止。<br /> <br />存储页面URL用 字典树，有个关键字列表，根据列表中的信息搜索。<br /> <br />贴代码：呵呵<br />
简易的站内搜索引擎 (万字长文！！绝对值得一看！！)
sfornyu的博客
08-03 4114
这里所实现的并非如同百度、谷歌一样的全网搜索，我的硬件条件达不到，并且技术实力也不够，但是可以按照搜索引擎的基本原理，来实现一个站内搜索，实现原理也算是大同小异，此项目分为四个模块：预处理模块、索引模块、搜索模块、服务器模块 项目背景 想要写一个搜索引擎也是源于偶然，在知乎上看到一篇文章，说是百度搜索为什么可以那么快？回答里说了很多方面的技术，其中最核心的就是倒排索引，这让我产生了浓厚的兴趣，但是因为实力和设备都有欠缺，没法做一个像是百度和搜狗一样的全网搜索，但我可以做一个站内搜索，来理解相应的技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值