怎么用C++写全文搜索引擎

最新推荐文章于 2024-03-08 18:45:39 发布
VIP文章 最新推荐文章于 2024-03-08 18:45:39 发布
阅读量4.4k 收藏 27
点赞数 4
分类专栏： 搜索引擎 机器学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyq_wyj/article/details/81910349
版权

用C++写的全文搜索引擎

项目背景

现在我们可以在我们可以很容易的在网上搜索到海量的信息，有些网站往往拥有很多优秀的内容，但是缺乏一个灵活而且高效的搜索引擎，导致这个网站的价值没有很好的体现，基于时间轴的或者tag的推荐从另一种角度上来说其实是忽视了用户搜索的主观能动性。

通用的搜索引擎并不能解决这个问题：首先，不能有针对性的垂直搜索，对内容的抓取和索引简单粗暴，无法得到结构化数据，看不到隐藏的内容属性；其次，通用搜索引擎对内容的排序无法进行定制，实时性不够，无法成为网站社区的有机的一部分。

我们如果能够解决这两个问题，那么相信网站内容的价值也会更好的得到体现，同时用户也会越来越适应通过站内搜索引擎更好的获取自己需要资源。

这个项目就是为了实现这样理想的一个尝试。

功能综述

  • 利用redis存储倒排索引和网页库(均在内存)，实现高速搜索
  • 利用redis建立缓存，若在缓存直接命中，查询相应速度提高接近100倍
  • 支持中文分词（cppjieba）
  • 支持持久化存储(redis)
  • 采用log4cpp作为日志系统

项目架构

离线索引模块

  • 数据结构：{string : {ID : weight},{ID : weight}...},weight（权重）是通过TD-IDF算法并归一后的权重
  • 存储结构：用redis 的set存储：结构为 key:string set :string(string 需要解析 是ID 和 weight组成的字符串)

查询模块

  • 网页排序：BM2
最低0.47元/天 解锁文章
wuyijian_ml
关注
  • 4
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C++简易文件全文检索引擎
05-11
C++简易文件全文检索引擎
利用c++语言打开百度网页，并允许搜索、
05-24
利用c++语言打开百度网页，并允许搜索。 本小程序为某个女孩写的，所以永久免费了。利用cmd方式打开浏览器，并允许输入文字，进行百度搜索。
C++ 实战项目之 Boost 搜索引擎
最新发布
m0_73096566的博客
03-08 1716
C++实战项目之 Boost 搜索引擎
HTML阅读有没有检索,创建和使用HTML全文搜索索引(C++)
weixin_36193690的博客
05-31 231
现有库以下是两个现有的解决方案,它们可以完全集成到应用程序中,而无需单独的过程(我相信这两个解决方案都将使用VC++进行编译)。Xapian是成熟的,可以做很多你需要的,从索引到排名检索。需要单独的HTML解析,因为afaik不解析HTML(它有一个伴生程序Omega,这是索引网站的前端)。Lucene是爪哇中的索引/搜索Apache库,具有正式的预发布C版本lucy和一个非官方C++版本CLuc...
10倍提升效率，号称取代 Elasticsearch 的轻量级搜索引擎到底有多强悍？
Java知音
06-29 965
Manticore Search介绍Manticore Search 是一个使用 C++ 开发的高性能搜索引擎，创建于 2017 年，其前身是 Sphinx Search 。Manticore Search 充分利用了 Sphinx，显着改进了它的功能，修复了数百个错误，几乎完全重写了代码并保持开源。这一切使 Manticore Search 成为一个现代，快速，轻量级和功能齐全的数据库，具有出色...
索引服务(Indexing Service)实现文档搜索(C++代码完整实现)
yoki2009的专栏
06-15 2772
索引服务(Indexing Service)实现文档搜索(C++代码完整实现)  Indexing Service是微软提供的为简单实现全文搜索引擎的一个服务,其开发的简便性简直是令人叹为观止,我也看到了很多人 将它作为网站的站内搜索引擎来做,使用ASP或VBScript就能实现.    Indexing Service使用的ADO的接口,可以表明该技术也是使用MS的数据库实现的,具体架构
简易快速搜索文件工具 ———C++
Llocyt的博客
03-10 1850
做这个项目是由于linux下面有find指令可以查找文档非常快速，windows下面的搜索文档却非常的慢，是通过暴力搜索的，但是有个叫everything的神器可以解决这个问题，可以将文档同步到数据库，直接查找数据库进行搜索，速度快了很多，我也想做一个类似于everthing的东西。我们这里呢，为了简单一点，我们使用了简单粗暴的扫描。1. 文件系统监控是利用系统文件系统的接口可以监控某个目录下的文档变化，优点是效率高，实时性强，缺点是监控是实时的，如果在监控程序没有启动期间的，文档的变化无法获取。
13 款开源的全文检索引擎
kindy的开发工作室
04-25 1000
1.  Lucene  Lucene的开发语言是Java，也是Java家族中最为出名的一个开源搜索引擎，在Java世界中已经是标准的全文检索程序，它提供了完整的查询引擎和索引引擎，没有中文分词引擎，需要自己去实现，因此用Lucene去做一个搜素引擎需要自己去架构.另外它不支持实时搜索，但linkedin和twitter有分别对Lucene改进的实时搜素. 其中Lucene有一个C++移植
C++查找指定的文件夹或者文件
热门推荐
数据迷宫
03-11 2万+
**一、查找指定的文件 1、了解系统结构体和系统函数** 结构体为 struct _finddata_t，函数为：_findfirst、findnext和 _findclose。 结构体struct finddata struct _finddata_t { unsigned attrib;//文件属性 _A_ARCH（存档）、_A_H...
C++综合项目-boost搜索引擎
柿子__
08-20 2667
boost搜索引擎
【C++项目】boost搜索引擎
Pass-by
09-05 1785
boost官网Boost库是为C++语言标准库提供扩展的一些C++程序库的总称。Boost库由Boost社区组织开发、维护。其目的是为C++程序员提供免费、同行审查的、可移植的程序库。Boost库可以与C++标准库完美共同工作，并且为其提供扩展功能。Boost库使用Boost License来授权使用，根据该协议，商业的非商业的使用都是允许并鼓励的。Boost社区建立的初衷之一就是为C++的标准化工作提供可供参考的实现，Boost社区的发起人Dawes本人就是C++标准委员会的成员之一。
一个文本搜索引擎的实现
05-30
文本搜索引擎，c++实现，南大数据结构期末大作业
一个小型的全文检索引擎的DEMO
04-05
里面基本包含了全文检索引擎的所有技术，包括词典分词，索引，检索等，其中词典分词采用的是基于双数组tire树的最大匹配法，索引部分参考了lucene的部分实现，检索部分应用了布尔检索和向量模型的排名算法，基本可以用来学习，建议配合信息检索导论这本书来进行学习
C++开源搜索引擎xapian开发入门demo
07-12
C++开源搜索引擎xapian开发入门demo
基于C++的简易微博事件搜索引擎.zip
01-11
基于C++的简易微博事件搜索引擎.zip
基于C/C++语言开发的搜索引擎
09-07
是一款网络和企业级搜索引擎，网络代码由5部分组成：UDP服务器、组播类、消息类、TCP服务器、HTTP服务器。
Trithep.rar_搜索引擎_C++_
08-11
利用多哈搜索，完成名字编码电话等记录，做到导入导出及搜索添加删除等功能
zhuomiansousuoyinqing.rar_搜索引擎_Visual_C++_
08-12
桌面搜索引擎用于搜索本机硬盘内各文件或者文件夹，并输出结果。
深度学习在图像智能审核中的应用（nsfw篇）
wuyijian_ml的博客
02-24 1万+
深度学习在图像智能审核中的应用（nsfw篇） NSWF(not suitable for word)图片，顾名思义，就是一些不太适合在工作中浏览的图片，本文介绍的工作是通过深度卷积神经网络来对此类图片进行自动化的审核，由于NSFW图片的定义范围比较广泛，本文主要针对色情图片（后文统一用NSFW图片来表示）的审核，不包括文字，写实暴力，政治相关不当内容的审核。 随着计算机视觉、改进的训练数据和深度学...
用C++写一个文件搜索引擎
03-29
作为AI语言模型，我无法编写和运行实际的代码，但我可以提供大致的思路和步骤： 1. 打开指定目录，并递归搜索所有文件和子目录。 2. 对于每一个文件，读取其内容，并将其与搜索关键字进行比较。 3. 如果搜索关键字匹配，则将该文件路径添加到结果列表中。 4. 输出结果列表，显示所有匹配的文件路径。 以下是一个简单的伪代码示例： ``` #include <stdio.h> #include <stdlib.h> #include <string.h> #include <dirent.h> int search_directory(char *dir_path, char *search_str, char **result_list, int max_results) { DIR *dir; struct dirent *entry; char file_path[512]; FILE *fp; char file_contents[4096]; int num_results = 0; // Open directory dir = opendir(dir_path); if (dir == NULL) { perror("Error opening directory"); return -1; } // Loop through directory entries while ((entry = readdir(dir)) != NULL) { // Skip hidden files/directories if (entry->d_name[0] == '.') { continue; } // Construct full file path snprintf(file_path, 512, "%s/%s", dir_path, entry->d_name); // Check if entry is a directory if (entry->d_type == DT_DIR) { // Recursive call to search subdirectory num_results += search_directory(file_path, search_str, result_list+num_results, max_results-num_results); if (num_results >= max_results) { break; } } // Check if entry is a file else if (entry->d_type == DT_REG) { // Open file fp = fopen(file_path, "r"); if (fp == NULL) { perror("Error opening file"); continue; } // Read file contents fread(file_contents, 1, 4096, fp); fclose(fp); // Check if file contents contain search string if (strstr(file_contents, search_str) != NULL) { // Add file path to results list if (num_results < max_results) { result_list[num_results] = strdup(file_path); num_results++; } else { break; } } } } closedir(dir); return num_results; } int main(int argc, char **argv) { char *dir_path = "/path/to/directory"; char *search_str = "search string"; char *result_list[100]; int max_results = 100; int num_results; int i; // Search directory num_results = search_directory(dir_path, search_str, result_list, max_results); // Print results printf("%d results found:\n", num_results); for (i = 0; i < num_results; i++) { printf("%s\n", result_list[i]); free(result_list[i]); } return 0; } ``` 注意：上面的代码仅作为示例，可能存在错误或不足之处，实际应用中需要根据具体情况进行修改和完善。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值