node全文检索研究

最新推荐文章于 2024-03-10 13:52:57 发布
最新推荐文章于 2024-03-10 13:52:57 发布
阅读量1.9k 收藏 5
点赞数 4
分类专栏： node 文章标签： lucene solr 全文检索 mongodb node
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011500781/article/details/75388964
版权

前言

  • 企业中应用比较广泛的是Lucene和Solr，但是需要使用Java
  • Elasticsearch提供了Node API
  • 本文给出几种Node实现全文搜索应用的简单示例

node相关实现方式

示例

倒排索引

  • 前言
  • 原理
    • 以写博客为例
    • 添加博客时，将博客内容进行分词处理
      • 博客a
        • 内容：我很高兴
        • 分词结果：["我", "很", "高兴"]
      • 博客b
        • 内容：我也很高兴，他高兴吗
        • 分词结果：["我", "也", "很", "高兴", "他", "高兴", "吗"]
      • 博客c
        • 内容：我不知道
        • 分词结果：["我", "不知道"]
    • 假如你搜索的内容为高兴
    • aggregate(聚合处理)
      • 使用$unwind将所有博客按照分词结果拆分
      • 使用$match找出含有高兴的博客(可以看到符合条件的博客a有2条，b有1条，c没有)
      • 使用$group按照博客的_id进行分组，同时使用num: {$sum: 1}添加一个统计数量的字段(每有1条，会自增1)
      • 使用$sort按照num进行倒序排列
    • a有1个高兴，b有2个，c没有，则b排在a前面，c不会出现在结果中
    • 搜索结果应为：["博客b", "博客a"]

  • 示例

    Promise = require('bluebird')
var express = require('express')
var mongoose = require('mongoose')
var Segment = require('segment')

var app = express()

/*
 * --------------------------------------------------
 * 分词配置
 */
var segment = new Segment()
segment.useDefault()// 使用默认配置
segment.loadSynonymDict('synonym.txt')// 转换同义词，可自定义
segment.loadStopwordDict('stopword.txt')// 去除停止词，可自定义
function doSegment(text) {
    return segment.doSegment(text, {simple: true, stripPunctuation: true})// 不返回词性且去除标点符号
}

/*
 * --------------------------------------------------
 * 数据库
 */
mongoose.Promise = Promise
mongoose.connect('127.0.0.1:30001/blog')

/*
 * --------------------------------------------------
 * 路由
 */
// 主页面
app.all('/', (req, res, next) => {
    var html = `
        <div>
            <h3>添加文章</h3>
            <span>标题</span>
            <input class="title" type="text" placeholder="输入标题" autocomplete="off" />
            <br />
            <span>内容</span>
            <textarea class="content" placeholder="输入内容" autocomplete="off"></textarea>
            <button class="add" type="button">添加</button>
            <h3>查找文章</h3>
            <span>查询(会匹配标题和内容进行查询)</span>
            <input class="keys" type="text" placeholder="输入查询内容" autocomplete="off" />
            <button class="get" type="button">查找</button>
        </div>
        <script> window.onload = function() { // 添加 document.querySelector('.add').onclick = function() { var title = document.querySelector('.title').value, content = document.querySelector('.content').value window.open('/article/add?title='+ title +'&content='+ content) } // 查询 document.querySelector('.get').onclick = function() { var keys = document.querySelector('.keys').value; window.open('/article/get?keys='+ keys) } } </script>
    `
    res.send(html)
})

var schemas = schema()

// 添加文章(同时会生成Key_article集合用来存储分词结果)
app.all('/article/add', (req, res, next) => {
    var keys = doSegment(req.query.title+' '+req.query.content)// 对标题和内容同时进行分词处理

    // 添加文章
    schemas.Article.add(req.query)
    .then((article) => {
        // 添加相应分词
        schemas.Key_article.add({
            article: article._id,
            keys: keys,
        })
        .then((key_article) => {
            res.send({message: '文章添加成功'})
        })
        .catch((e) => {
            res.send({message: e.message})
        })
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 查找文章(根据分词搜索相应的文章_id，再由搜索到的_ids反查出文章)
app.all('/article/get', (req, res, next) => {
    var date = new Date()
    var keys = doSegment(req.query.keys)// 可接收多个关键词

    // 查找相应分词
    schemas.Key_article.get(keys, req.query.pageNo, req.query.pageSize)// 默认第一页，默认每页10个
    .then((key_article) => {
        // 按顺序搜索所有传入的_id，最后组装成文章数组进行前端展示
        Promise.reduce(key_article[0]?key_article[0].articles:[], (articles, _id) => {
            return schemas.Article.get(_id)
            .then((article) => {
                if(!articles) {
                    articles = []
                }
                articles.push(article)
                return articles
            })
        }, '').then((articles) => {
            console.log(new Date() - date)// 计算查询用时，以毫秒记
            res.send(articles)
        })
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 更新文章(同时会更新Key_article集合中相应的分词)
app.all('/article/edit', (req, res, next) => {
    var keys = doSegment(req.query.title+' '+req.query.content)// 对标题和内容同时进行分词处理

    // 更新文章
    schemas.Article.edit(req.query._id, req.query)
    .then((article) => {
        // 更新相应分词
        schemas.Key_article.edit(req.query._id, keys)
        .then((key_article) => {
            res.send({message: '文章更新成功'})
        })
        .catch((e) => {
            res.send({message: e.message})
        })
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 删除文章(同时会删除Key_article集合中相应的分词)
app.all('/article/del', (req, res, next) => {
    // 删除文章
    schemas.Article.del(req.query._id)
    .then((article) => {
        // 删除相应分词
        schemas.Key_article.del(req.query._id)
        .then((key_article) => {
            res.send({message: '文章删除成功'})
        })
        .catch((e) => {
            res.send({message: e.message})
        })
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})

/*
 * --------------------------------------------------
 * schema
 */
function schema() {
    var Schema = mongoose.Schema

    // 文章schema
    var articleSchema = new Schema({
        title: String,
        content: String,
    }, {
        versionKey: false,
    })

    articleSchema.statics = {
        add(obj) {
            return this
            .create(obj)
        },
        get(_id) {
            return this
            .findById(_id)
        },
        edit(_id, obj) {
            return this
            .update({_id: _id}, obj)
        },
        del(_id, obj) {
            return this
            .remove({_id: _id})
        },
    }

    // 分词schema
    var key_articleSchema = new Schema({
        article: Schema.Types.ObjectId,
        keys: {
            type: Array,
        },
    }, {
        versionKey: false,
    })

    key_articleSchema.statics = {
        add(obj) {
            return this
            .create(obj)
        },
        get(keys, pageNo, pageSize) {
            pageNo = pageNo || 1// 默认第一页
            pageSize = pageSize || 10// 默认每页10个
            return this
            .aggregate([
                {$unwind : '$keys'},// 通过分词拆分所有文章
                {$match: {keys: {$in: keys}}},// 匹配符合搜索内容的文章
                {$group: {_id: '$article', num: {$sum: 1}, arr: {$addToSet: 1}}},// 根据文章_id进行重组，并记录相同文章的次数num，arr只是为了给最后重组使用的，没有其他作用
                {$sort: {num: -1}},// 倒序排列所有符合的文章
                {$skip: (pageNo-1)*(pageSize)},// 跳过文章，做分页，默认第一页，每页10个
                {$limit: pageSize},// 限制文章，做分页，默认第一页，每页10个
                //{$lookup: {from: 'articles', localField: '_id', foreignField: '_id', as: 'article'}}// 这里也可以采用$lookup的方式来引入articles的原文档内容，但是结构嵌套过深，可以继续使用$project映射出合适的结构
                {$group: {_id: '$arr', articles: {$push: '$_id'}, total: {$sum: 1}}},// 将结果重组成一个_id数组为articles，便于顺序查询，且total字段方便分页
            ])
        },
        edit(_id, keys) {
            return this
            .update({article: _id}, {keys: keys})
        },
        del(_id) {
            return this
            .remove({article: _id})
        },
    }

    return {
        Article: mongoose.model('Article', articleSchema),
        Key_article: mongoose.model('Key_article', key_articleSchema),
    }
}

app.listen(3001, function() {
    console.log('server...')
})

  • 图解

    • 添加3篇博客
      这里写图片描述

    • 数据库
      这里写图片描述
      这里写图片描述
      这里写图片描述

    • 查询结果(查询内容为椅子，分词结果为["椅子"]，所以包含椅子的文章是符合的)
      这里写图片描述

  • 效率分析(本计时不包含渲染数据成前端dom结构的时间)：
    每篇文章字数 | 总文章篇数 | 搜索内容分词后的关键词数 | 每页显示篇数 | 没有符合文章的用时 | 有符合文章的用时
    1500字 | 1000篇 | 3个 | 10篇 | 600-650毫秒 | 650-750毫秒
    1500字 | 2000篇 | 3个 | 10篇 | 1200-1300毫秒 | 1300-1350毫秒
    1500字 | 3000篇 | 3个 | 10篇 | 1800-1900毫秒 | 1950-2050毫秒
    这里写图片描述

中英文停止词表（stopword）

Elasticsearch

  • 前言
    • 环境：window 10
  • 准备工作
    • 安装Java(提供运行环境)，根据你电脑的32或64位数，选择合适的版本，否则即使安装Java成功，点击elasticsearch.bat也运行不起来
    • 安装Elasticsearch(提供搜索引擎服务)，可以把elasticsearch.bat所在路径配置进环境变量，这样命令行里面直接输入elasticsearch.bat即可运行成功
      这里写图片描述
    • 安装mobz/elasticsearch-head(提供可视化界面)，我选择了最简单的安装方式，安装谷歌扩展插件
      这里写图片描述
    • 安装elastic/elasticsearch-js(提供Node交互功能)
    • 安装mongoosastic/mongoosastic(封装了elasticsearch-js的api，可以配合mongoose方便的增删改查elasticsearch中的索引)
  • 示例
Promise = require('bluebird')
var express = require('express')
var mongoose = require('mongoose')
var mongoosastic = require('mongoosastic')

var app = express()

/*
 * --------------------------------------------------
 * 数据库
 */
mongoose.Promise = Promise
mongoose.connect('127.0.0.1:30001/blog')

/*
 * --------------------------------------------------
 * 路由
 */
// 主页面
app.all('/', (req, res, next) => {
    var html = `
        <div>
            <h3>添加文章</h3>
            <span>标题</span>
            <input class="title" type="text" placeholder="输入标题" autocomplete="off" />
            <br />
            <span>内容</span>
            <textarea class="content" placeholder="输入内容" autocomplete="off"></textarea>
            <button class="add" type="button">添加</button>
            <h3>查找文章</h3>
            <span>查询(会匹配标题和内容进行查询)</span>
            <input class="keys" type="text" placeholder="输入查询内容" autocomplete="off" />
            <button class="get" type="button">查找</button>
        </div>
        <script> window.onload = function() { // 添加 document.querySelector('.add').onclick = function() { var title = document.querySelector('.title').value, content = document.querySelector('.content').value window.open('/article/add?title='+ title +'&content='+ content) } // 查询 document.querySelector('.get').onclick = function() { var keys = document.querySelector('.keys').value; window.open('/article/get?keys='+ keys) } } </script>
    `
    res.send(html)
})

var Article = schema()

// 添加文章
app.all('/article/add', (req, res, next) => {
    Article.add(req.query)
    .then((article) => {
        res.send({message: '文章添加成功'})
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 查找文章
app.all('/article/get', (req, res, next) => {
    var date = new Date()

    Article.get(req.query.keys)
    .then((article) => {
        console.log(new Date() - date)// 计算查询用时，以毫秒记
        res.send(article)
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 更新文章
app.all('/article/edit', (req, res, next) => {
    Article.edit(req.query._id, req.query)
    .then((article) => {
        res.send('文章更新成功')
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})
// 删除文章
app.all('/article/del', (req, res, next) => {
    Article.del(req.query._id)
    .then((article) => {
        res.send('文章删除成功')
    })
    .catch((e) => {
        res.send({message: e.message})
    })
})

/*
 * --------------------------------------------------
 * schema
 */
function schema() {
    var schema = new mongoose.Schema({
        title: {
            type: String,
            es_indexed: true,// 建立索引到Elasticsearch，如果都不写此参数，那么mongoosastic默认给全部字段建索引到Elasticsearch，很浪费
        },
        content: {
            type: String,
            es_indexed: true,
        },
        visitors: {
            type: Number,
            default: 0,
        },
    }, {
        versionKey: false,
    })

    schema.statics = {
        // 添加文档时，会自动向Elasticsearch建立索引
        add(obj) {
            return this
            .create(obj)
        },
        get(keys) {
            // mongoosastic的search方法不支持promise方式，这里让它支持
            return new Promise((resolve, reject) => {
                this
                .search({
                    query_string: {
                        query: keys,
                    }
                }, (e, article) => {
                    if(e) {
                        reject(e)
                    }else {
                        resolve(article)
                    }
                })
            })

        },
        // 如果有多个文档需要更新，只能通过多次调用此方法了
        edit(_id, obj) {
            // mongoosastic必须使用findOneAndUpdate进行更新，这样数据库和Elasticsearch中的索引都会一起改，如果使用update则Elasticsearch中的索引不会被修改
            return this
            .findOneAndUpdate({_id: _id}, obj, {new: true})// new: true -> 返回修改后的数据，必须传入，否则Elasticsearch中的索引不会被修改
        },
        // 如果有多个文档需要删除，只能通过多次调用此方法了
        del(_id) {
            // mongoosastic必须使用findOneAndRemove进行删除，这样数据库和Elasticsearch中的索引都会一起删，如果使用remove则Elasticsearch中的索引不会被删除
            return this
            .findOneAndRemove({_id: _id})
        },
    }

    schema.plugin(mongoosastic)// 加载mongoosastic
    return mongoose.model('Article', schema)
}

app.listen(3001, function() {
    console.log('server...')
})

  • 添加3篇博客
    这里写图片描述

  • 数据库
    这里写图片描述

  • 查询结果
    这里写图片描述

  • 效率分析(本计时不包含渲染数据成前端dom结构的时间)：
    每篇文章字数 | 总文章篇数 | 搜索内容分词后的关键词数 | 每页显示篇数 | 没有符合文章的用时 | 有符合文章的用时
    1500字 | 1000篇 | 3个 | 10篇 | 3-5毫秒 | 5-10毫秒
    1500字 | 2000篇 | 3个 | 10篇 | 3-5毫秒 | 5-10毫秒
    1500字 | 3000篇 | 3个 | 10篇 | 3-5毫秒 | 5-10毫秒
    这里写图片描述
    我是不是测试方法有问题，怎么都一样啊
  • 疑问

Head插件——学习Elasticsearch的锋刃利器！
可否完全使用ElasticSearch代替数据库存储？
单机搭建elasticsearch和mongodb river的数据同步
MongoDB-Elasticsearch 实时数据导入

vcxiaohan2
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
node-full-text-search-light, 简单易用的全文搜索引擎.zip
10-10
node-full-text-search-light, 简单易用的全文搜索引擎 全文搜索光是纯JS全文搜索引擎，带有收费的快速搜索和下列命令：添加搜索移除保存到文件从文件读入你可以添加各种数据，也可以添加复杂的对象。安装来自NPM的插件npm install full-text-searc
node-fts-search:使用 Node.JS 构建的搜索引擎，用于桌面全文搜索
06-09
节点-fts-搜索 使用 Node.JS 和 SQLite FTS 构建的全文搜索引擎，用于桌面搜索。 安装 npm install npm install -g mocha 测试 mocha test.js
nodejs 版本开源全文搜索引擎
weixin_34219944的博客
03-17 1335
为什么80%的码农都做不了架构师？>>> ...
Node.js-FlexSearch.js-用于浏览器和Node.js的Web最快速最灵活的全文搜索库
08-09
FlexSearch.js - 用于浏览器和Node.js的Web最快速、最灵活的全文搜索库，无依赖关系。
使用 nodejs 和 ElasticSearch 快速搭建全文检索
wujiandao的专栏
10-18 4381
点击蓝色“有关SQL”关注我哟加个“星标”，天天与10000人一起快乐成长上次群友问我，Python怎么学，我说四个小时足够了，你们不信。这次，我用2个小时，仅仅用Google，快速搭建...
search-project:全文检索系统
05-02
JavaScript，作为Web开发中的主要脚本语言，不仅可以用于客户端交互，也可以在服务器端（如Node.js环境）运行，这使得它成为构建全文检索系统的理想选择。在"search-project-master"这个压缩包中，很可能包含了使用...
Node.js-用于检索BibTeX规范的命令行界面
08-10
**Node.js - BibTeX规范检索命令行界面** Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它使得JavaScript能够在服务器端执行，而不仅仅局限于浏览器。这个项目是一个利用Node.js开发的命令行工具，专用于...
node 聊天类代码
01-30
"node 聊天类代码"的标题表明我们将研究一个使用Node.js构建的简单聊天室应用。 描述中提到，这个代码库是为初学者设计的，这意味着它可能包含基础的网络通信和事件驱动编程概念，这对于理解Node.js的核心工作原理...
Node.js-Ambar是一个开源文档搜索引擎具有自动抓取OCR标记和实时全文搜索功能
08-09
Ambar是一个功能强大的开源文档搜索引擎，它集成了自动抓取、光学字符识别（OCR）和实时全文搜索功能，极大地提升了文档处理和检索的效率。 ### 1. Node.js介绍 Node.js是一个基于Chrome V8引擎的JavaScript运行...
精选_对JavaScript和node.js研究并实现WEB聊天系统_源码打包
03-10
在这个项目中，"精选_对JavaScript和node.js研究并实现WEB聊天系统_源码打包"，我们将会探讨这两个技术如何协同工作，以及在实现这样一个系统时的关键知识点。 JavaScript，作为ECMAScript的标准实现，是前端开发的...
simple-search:一个用 Node.js 构建的简单搜索引擎！
06-14
一个在 Node.JS、Express 和 MongoDB 上运行的简单搜索引擎。 它支持基本的文档索引和查询。 特征 多索引搜索 用于索引和搜索的 RESTful API 索引的可（使用 MongoDB 开箱即用） 安装 npm install simple-search 用法 您可以使用 HTTP 请求通过 REST API 使用搜索引擎。 索引API 您可以使用索引端点/index/<indexName>索引文档。 例子 $ curl -XPOST 'http://localhost:3000/index/myIndex/1' -H "Content-Type: application/json" -d '{"_body" : "This is an example doc."}' 搜索API 您可以使用索引端点/search/<indexName>索引。 例
node执行百度搜索并且点击链接案例
10-24
包含目前为止最新的node环境，完事所附带的代码是访问百度首页，填入搜索词之后，点击搜索按钮，进行搜索，完事点击固定广告链接
Node.js 博客实例（十一）文章检索功能
SS
08-28 2381
原教程 https://github.com/nswbmw/N-blog/wiki/_pages的第一章，由于版本等的原因，在原教程基础上稍加改动即可实现。        现在我们来给博客增加文章检索功能，即根据关键字模糊查询文章标题，且字母不区分大小写。 首先，我们修改 header.ejs ，在 前添加一行代码： 在 style.css 中添加一行样式： .search{bord
【Node.js】项目之搜索
qq_37086980的博客
01-14 839
搜索效果 1. 模糊查询 SELECT * FROM 表名 WHERE 字段名 LIKE '%值%' SELECT * FROM 表名 WHERE 字段名 LIKE '值%' -- 值开头 SELECT * FROM 表名 WHERE 字段名 LIKE '%值' -- 值结束 SELECT * FROM goods_list WHERE goods_name LIKE '%手机%' 2.搜索内容，出现响应商品，并且可以排序和分页(1随机排序 2新品 3价格排序)，每搜索一次search表对应count
学习用Node.js和Elasticsearch构建搜索引擎（2）：一些检索命令
03-01 139
1、Elasticsearch搜索数据有两种方式。 一种方式是通过REST请求URI，发送搜索参数； 另一种是通过REST请求体，发送搜索参数。而请求体允许你包含更容易表达和可阅读的JSON格式。这个是DSL查询(QueryDSL). 2、Elasticsearch搜索基本语法。 [GET|POST] http://domain.com/your_index/type1,typ...
全文检索学习之ElasticSearch学习笔记
qq_43073697的博客
04-01 2894
在非关系型数据库中，数据是非结构化的，如果直接去查找效率极低，全文检索将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。索引就是从非结构化数据中提取出的然后重新组织的信息。建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。在了解了全文检索的过程后，下面介绍最近学习的ElasticSearch全文检索引擎。 1、ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的
【325期】Elasticsearch 如何实现 Word、PDF、TXT 全文内容检索？
Java精选
05-09 1313
简单介绍一下需求能支持文件的上传，下载要能根据关键字，搜索出文件，要求要能搜索到文件里的文字，文件类型要支持word，pdf，txt文件上传，下载比较简单，要能检索到文件里的文字，并且要尽量精确，这种情况下很多东西就需要考虑进去了。这种情况下，我决定使用Elasticsearch来实现。因为准备找工作刷牛客的原因，发现很多面试官都问到了Elasticsearch，再加上那...
全文搜索引擎 Elasticsearch详解
liuerchong的博客
03-28 3165
文章目录什么是ElasticSearchElasticsearch 的用途是什么？Elasticsearch 的工作原理是什么？Elasticsearch 索引是什么？为何使用 Elasticsearch？ 什么是ElasticSearch Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的
推荐项目：Node-Solr
最新发布
gitblog_00007的博客
03-10 363
推荐项目：Node-Solr Node-Solr是一个轻量级的Node.js客户端库，用于与Solr搜索引擎进行交互。 项目简介 Node-Solr允许开发人员在Node.js应用程序中轻松地与Solr实例通信。它支持基本的索引操作，如添加、删除和更新文档，以及搜索查询和结果处理。 应用场景 使用Node-Solr，您可以轻松地为您的Node.js应用集成强大的全文本搜索功能。以下是一些可能的应用...
Node.js实战：Manning出版社高清PDF
8. **案例研究**：通过真实项目示例，展示Node.js在实际开发中的应用，涵盖API服务器、文件处理系统、流媒体服务等多个场景。 这本书适合已经有一定JavaScript基础，想要进一步掌握Node.js技术的开发者。无论你是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值