Nodejs：mongo-connector同步mongo数据；使用elasticsearch搜索

最新推荐文章于 2022-07-08 14:30:33 发布
最新推荐文章于 2022-07-08 14:30:33 发布
阅读量212 收藏 1
点赞数
文章标签： 大数据 c/c++ 数据库
原文链接：https://my.oschina.net/tianlele/blog/848860
版权

我使用的是elasticsearch5.2.1版本的，对应的ik和pinyin也是5.2.1；

1，下载并安装elasticsearch；

    见：https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html

2，下载并安装mongo-connector；

    见：https://github.com/mongodb-labs/mongo-connector

pip install mongo-connector

Target System

Install Command

MongoDB

pip install mongo-connector

Elasticsearch 1.x

pip install 'mongo-connector[elastic]'

Amazon Elasticsearch 1.x Service

pip install 'mongo-connector[elastic-aws]'

Elasticsearch 2.x

pip install 'mongo-connector[elastic2]'

Amazon Elasticsearch 2.x Service

pip install 'mongo-connector[elastic2-aws]'

Elasticsearch 5.x

pip install 'mongo-connector[elastic5]'

Solr

pip install 'mongo-connector[solr]'

3，安装对应版本的doc_manager

Elasticsearch 1.x: https://github.com/mongodb-labs/elastic-doc-manager

Elasticsearch 2.x and 5.x: https://github.com/mongodb-labs/elastic2-doc-manager

配置mongo-connector的文件启动;

{

    "mainAddress": "localhost:27018",
    "oplogFile": "/var/log/oplog.timestamp",
    "noDump": false,
    "batchSize": -1,
    "verbosity": 0,
    "continueOnError": false,

    "logging": {
        "type": "file",
        "filename": "/var/log/mongo-connector.log",
        "__format": "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d - %(message)s",
        "__rotationWhen": "D",
        "__rotationInterval": 1,
        "__rotationBackups": 10,

        "__type": "syslog",
        "__host": "localhost:514"
    },

    "namespaces": {
        "database.doc1": true,
        "database.doc2": true
    },

    "docManagers": [
        {
            "docManager": "elastic2_doc_manager",
            "targetURL": "user_name:pass@127.0.0.1:9200",
            "__bulkSize": 1000,
            "__uniqueKey": "_id",
            "__autoCommitInterval": null,
            "args": {
                "clientOptions": {"timeout": 200}
            }
        }
    ]
}

配置完成后，在supervisord中配置启动命令：

mongo-connector -c /etc/mongo-connector-conf.json

见：7，安装supervisord，配置启动项：

 

4，安装ik和pinyin插件并创建映射；

sudo wget https://github.com/medcl/elasticsearch-anaysis-ik/releases/download/v5.2.1/elasticsearch-analysis-ik-5.2.1.zip
 sudo wget https://github.com/medcl/elasticsearch-anaysis-pinyin/releases/download/v5.2.1/elasticsearch-analysis-pinyin-5.2.1.zip

具体安装见：https://github.com/medcl/elasticsearch-analysis-ik；

没有安装mvn请安装mvn；这里不做详细描述；

创建映射：

    需注意：synonyms_path的当前位置为elasticsearch/config/

//若安装了认证插件x-pack，操作时需带上用户名和密码
curl -XPUT 'username:pass@localhost:9200/my_index?pretty' -H 'Content-Type: application/json' -d'
{
    "settings": {
        "analysis": {
            "analyzer": {
                "ik_smart_analyzer": {
                    "type":      "custom",
                    "tokenizer": "ik_smart",
                    "filter" : ["lowercase","synonym"]
                },
                "ik_max_analyzer": {
                    "type":      "custom",
                    "tokenizer": "ik_max_word",
                    "filter" : ["lowercase","synonym"]
                },
                "pinyin_analyzer": {
                    "type":      "custom",
                    "tokenizer": "ik_smart",
                    "filter" : ["my_pinyin","word_delimiter"]
                }
            },
            "filter" : {
                "synonym" : {
                    "type" : "synonym",
                     "ignore_case":true,  
                    "synonyms_path" : "analysis/synonym.txt"
                },
                "my_pinyin": {
                    "type": "pinyin",
                    "first_letter" : "none",
                    "padding_char": " "
                }
            }
        }
    }
}
'

analysis/synonym.txt文件：

js,javascript
番茄,西红柿

为字段应用分词，在fulltext中为字段设置的pinyin子字段，使用mongo-connector后，并未在其type中自动映射pinyin字段，需再为其type重新创建一次；


curl -XPOST http://username:pass@localhost:9200/my_index/fulltext/_mapping -d'
{
    "fulltext": {
         "_all": {
            "analyzer": "ik_smart_analyzer",
            "search_analyzer": "ik_smart_analyzer",
            "term_vector": "no",
            "store": "false"
        },
        "properties": {
            "title": {
                "type": "text",
                "analyzer": "ik_smart_analyzer",
                "search_analyzer": "ik_smart_analyzer",
                "include_in_all": "true",
                "boost": 10,
                "fields": {
                    "pinyin": {
                        "type": "text",
                        "store": "no",
                        "term_vector": "with_offsets",
                        "analyzer": "pinyin_analyzer",
                        "boost": 10
                    }
                }
            },
            "tags": {
                "type": "text",
                "analyzer": "ik_smart_analyzer",
                "search_analyzer": "ik_smart_analyzer",
                "include_in_all": "true",
                "boost": 10,
                "fields": {
                    "pinyin": {
                        "type": "text",
                        "store": "no",
                        "term_vector": "with_offsets",
                        "analyzer": "pinyin_analyzer",
                        "boost": 10
                    }
                }
            }
        }
    }
}'


curl -XPOST http://username:pass@localhost:9200/my_index/my_type/_mapping -d'
{
    "_all": {
        "analyzer": "ik_smart_analyzer",
        "search_analyzer": "ik_smart_analyzer",
        "term_vector": "no",
        "store": "false"
    },
    "properties": {
        "title": {
            "type": "text",
            "analyzer": "ik_smart_analyzer",
            "search_analyzer": "ik_smart_analyzer",
            "include_in_all": "true",
            "boost": 10,
            "fields": {
                "pinyin": {
                    "type": "text",
                    "store": "no",
                    "term_vector": "with_offsets",
                    "analyzer": "pinyin_analyzer",
                    "boost": 10
                }
            }
        },
        "tags": {
            "type": "text",
            "analyzer": "ik_smart_analyzer",
            "search_analyzer": "ik_smart_analyzer",
            "include_in_all": "true",
            "boost": 10,
            "fields": {
                "pinyin": {
                    "type": "text",
                    "store": "no",
                    "term_vector": "with_offsets",
                    "analyzer": "pinyin_analyzer",
                    "boost": 10
                }
            }
        }
    }
}'

5，在浏览器中测试分词效果

测试ik和同义词

http://localhost:9200/my_index/_analyze?analyzer=ik_smart_analyzer&text=今天天气真好

http://localhost:9200/my_index/_analyze?analyzer=ik_smart_analyzer&text=js

测试拼音：

http://localhost:9200/my_index/_analyze?analyzer=pinyin_analyzer&text=今天天气真好

6，启用mongo副本集，此命令只为本地测试用：

//创建副本集
sudo mongod --replSet rs0 --port 27018 --dbpath /data/mongodb/data27018

//启动副本集，此为示例，后面使用supervisord统一管理
sudo mongod --port 27018 --dbpath  /data/mongodb/data27018 --replSet rs0

副本集启动成功后，进入mongo shell，初始化副本集

config = { _id:"rs0", members:[
 {_id:0,host:"127.0.0.1:27018"}
]};

 

rs.initiate(config)

可使用rs.help()查看帮助。

7，安装supervisord，配置启动项：

详见：http://supervisord.org

安装好supervisord后，配置supervisord.conf：

；elasticsearch进程管理
[program:elasticsearch]
command = /usr/local/elasticsearch-5.2.1/bin/elasticsearch
user = user
stopsignal = TERM
autostart = true
autorestart = true
stderr_logfile=/var/log/es.err.log
stdout_logfile=/var/log/es.out.log

;mongo副本集进程管理
[program:mongo-replset]
command =/usr/bin/mongod --port 27018 --dbpath  /data/mongodb/data27018 --replSet rs0
user = user
stopsignal = TERM
autostart = true
autorestart = true
stderr_logfile=/var/log/mongo_replset.err.log
stdout_logfile=/var/log/mongo_replset.out.log

;mongo-connector进程管理
[program:mongo-connector]
command =mongo-connector -c /etc/mongo-connector-conf.json
user = user
stopsignal = TERM
autostart = true
autorestart = true
stderr_logfile=/var/log/mongo_connector.err.log
stdout_logfile=/var/log/mongo_connector.out.log

;主程序
[program:myapp]
command = node server.js
environment=NODE_ENV=development   ;环境变量：开发环境
user = lele
directory = /Users/wo/WebstormProjects/myapp
stopsignal = TERM
autostart = true
autorestart = true
stderr_logfile=/var/log/myapi.err.log
stdout_logfile=/var/log/myapi.out.log

 

注意：配置文件中的log文件需要手动创建；

启动supervisord：

//启动守护程序
sudo supervisord -c /etc/supervisord.conf
//启动所有服务
sudo supervisorctl restart all

//启动单个服务
sudo supervisorctl restart elasticsearch

若启动失败，可查看supervisor日志排错；

启动成功后，可根据elasticsearch的log文件查看运行状态以及是否同步；

8，测试查询

curl -XGET 'http://localhost:9200/database/col1/_search?q=tags:text'

9，node端的查询

安装elasticsearch-js：https://github.com/elastic/elasticsearch-js

elasticsearch-js API：

https://www.elastic.co/guide/en/elasticsearch/client/javascript-api/current/api-reference.html

连接elasticsearch

var elasticsearch = require('elasticsearch');
var client = new elasticsearch.Client({
  host: 'localhost:9200',
  log: 'trace'
});

一个例子：

exports.search = function (word,size, callback) {

    //查询 status==100 AND (visible==v1 OR visible==v2)
    //^表示elasticsearch boost运算符
    //~表示elasticsearch fuzzy运算符
    var query_str = "status:100 AND (visible:v1 OR visible:v2) AND 西红柿^20好吃吗 ~1 NOT _id:00001"
    
    var body = {
        size:size,
        query: {
            query_string: {
                //查询的字段
                fields: ["title^20", "tags^15","title.pinyin", "tags.pinyin"],
                query: query_str,
                use_dis_max: true
            }
        },
        //设置返回
        _source: ["title", "tags", "digest", "top"],
        //设置排序
        sort:[
            "_score",
            { "top" : "desc" }
        ],
        //设置高亮
        highlight: {
            pre_tags: ['<em>'],
            post_tags: ['</em>'],
            fields: {
                title: {},
                condition: {},
                digest: {}
            },
            require_field_match: false
        }
    };

    client.search({
        index: 'my_index',
        type: 'my_type',
        body: body
    }).then(function (resp) {
        callback(resp.hits);
    }, function (err) {
        console.trace(err.message);
        callback(null);
    });
};

写的比较简单，以代码为主，给大家一个参考；

参考资料：

elasticsearch query string：

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html

elasticsearch-js API：

https://www.elastic.co/guide/en/elasticsearch/client/javascript-api/current/api-reference.html

supervisord：http://supervisord.org

mongodb 最新版本高可用解决方案-replica sets副本集部署详细过程

ElasticSearch5中文分词(IK)

使用 Elasticsearch 实现博客站内搜索：

https://imququ.com/post/elasticsearch.html

转载于:https://my.oschina.net/tianlele/blog/848860

chenlin6762
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
node-mongodb-es-connector：nodejs mongodb elasticsearch syncdata（mongodb和es同步数据）
02-04
用于节点的MongoDB和ElasticSearch同步模块（支持附件同步） 支持一对一和一对多关系。 中文文档- 一对一-一个mongodb集合到一个elasticsearch索引 一对多-一个mongodb集合到一台Elasticsearch服务器的多个索引...
fileupload-nodejs：使用NodeJS和Mongo GridFS上传MongoDB文件
02-04
使用NodeJS上传MongoDB / GridFS文件。 PS ：此项目有一个JS / Es *版本和Typescript版本，我希望在集成方面保持同步，因此，为清楚起见， DEV （此分支）将具有JS / ES *版本和分支将具有Typescript版本。 尽管听...
基于nodejs将mongodb的数据实时同步到elasticsearch
Betty9563的博客
03-23 209
一、前言 因公司需要选用elasticsearch做全文检索，持久化存储选用的是mongodb，但是希望mongodb里面的数据发生改变可以实时同步到elasticsearch上，一开始主要使用elasticsearch v1.7.2的版本，mongo-river可以搞定这个问题。随着elasticsearch的升级，发现elasticsearch已经放弃了mongo-river，咋整...
node.js查询mongo数据库
qq_39305051的博客
12-24 381
var MongoClient = require('mongodb').MongoClient; var dburl = 'mongodb://localhost:27017/xuesheng'; MongoClient.connect(dburl, function(err, db) { if(err){ console.log("错误！数据库没有链接成功！"); console.l...
MongoDB 数据同步至 ElasticSearch （Mongo-connector）
t0m的专栏
08-10 1615
数据量庞大时，模糊查询可以采取，ES分词搜索形式，效率极高。 MongoDB数据导入到ES并实现同步，可以使用Mongo-Connector 介绍:mongo-connector 至于ES的安装和MongoDB副本集模式，可以参照前几篇文章笔记。 Mongo-Connector使用方式很简单，简单讲下面几步： 1. 安装pip yum install python-setupt
nodejs 操作mongodb
lily_xiao的博客
02-22 263
1.连接db.js内容 var mongo = require('mongodb').MongoClient; var assert = require('assert'); var url = 'mongodb://localhost:27017/blog';module.exports.DB = function (name, callback) { mongo.connect(url, fun
使用mongo-connector，实时同步mongoDB数据至elasticsearch
lamberliu9的博客
09-27 1026
python ：3.6.0 ELasticsearch：5.5.0 MongoDB：3.0.6 mongo连接工具：NOSQLBooster 使用自带的pip 安装mongo-connector 注意：mongo-connector原理是使用Mongo的操作日志oplog，所以必须配置Mongodb为副本模式 mongo-connector replicates operations ...
telegraf-grafana-influxdb-nodejs-pm2-mongo-elasticsearch-phpfpm-monitoring
03-29
在不同技术上学习TIG堆栈监控堆栈： Telegraf 格拉那Influxdb influxdb_v2要监视的堆栈： 蒙哥Nginx的phpfpm 弹性搜索nodejs + pm2如何使用influxdb_v2制作Telegraf 为了学习目的，使用influxdb_v2支持的助焊剂为pm2...
controle-nodejs-mongo
03-28
API控件comandos泊坞窗： docker pull mongodocker run --name controle-mongo -d mongoanotações： 码头工人蒙哥8081：8081
MONGO-LIFE-API:NodeJs Express猫鼬MongoDB JWT AUTH RESTful API-由NAVID MOSTAFIZ创建
05-16
MONGO-LIFE-API :person_walking: NodeJs Express猫鼬MongoDB JWT RESTful API *整个项目都在JS ES5中 :lady_beetle: 堆栈 固件/库 描述 :blue_circle: 节点 :blue_circle: 节点快车 宁静的API :blue_circle: ...
Nodejs基础中间件Connect
weixin_42809940的博客
08-08 153
Nodejs基础中间件Connect 转载出处：http://blog.fens.me/nodejs-connect/ 前言 “中间件”在软件领域是一个非常广的概念，除操作系统的软件都可以称为中间件，比如，消息中间件，ESB中间件，日志中间件，数据库中间件等等。 Connect被定义为Node平台的中间件框架，从定位上看Connect一定是出众的，广泛兼容的，稳定的，基础的平台性框架。如果...
Mongo-connector原理
世界中心的专栏
09-08 3555
mongo-connctor是一款用于同步MongoDB数据到其他系统组件，比如它能同步数据到Solr、ElasticSearch或者其他MongoDB集群中去。它的实现原理是依据MongoDB的Replica Set复制模式，通过分析oplog日志文件达到最终的同步目的。安装配置启动过程可参考官方文档。这篇文章具体来分析一下mongo-connetor的执行过程是怎样的。 oplog
Flink 系例 之 Connectors 连接 ElasticSearch
jilo88的博客
07-08 1638
通过使用 Flink DataStream Connectors 数据流连接器连接到 ElasticSearch 搜索引擎的文档数据库 Index，并提供数据流输入与输出操作；
MongoDB——Sync to ElasticSearch
世界中心的专栏
09-07 1417
5 ways to synchronize data from MongoDb to ElasticSearch Elastic search(ES) is a pop-star for recording and analyzing data, and Mongodbis a famous NoSQL database for storing and querying data
Mongo-Connector的使用
lpfasd123的博客
04-27 2987
工具介绍 mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道，目标系统包括：Solr，Elasticsearch，或MongoDB集群。 该工具在MongoDB与目标系统间同步数据，并跟踪MongoDB的oplog，保持操作与MongoDB的实时同步。 环境 mongo-connector支持Python 3.4+和Mo...
利用mongo-connector将mongodb数据同步到elasticsearch的流程以及会遇到的坑
SimmerChan的专栏
05-12 5975
原文地址 mongodb虽然也提供索引功能，但是功能比较简单，在某些场景下速度相当慢（比如模糊查询的时候）。数据量小的时候也许体现不出来，当数据量达到1000W条记录，所占硬盘大小为10G左右的时候，你就会开始为mongodb提供的查询功能感到头疼。这个时候我们一般采用一款搜索服务器作为查询的后端。我的实际需求是对存储在mongodb中的1000W条百科数据记录进行查询，一次查询包括全匹配、部分匹
F:\nodejs\\node.exe: --openssl-legacy-provider is not allowed in NODE_OPTIONS
最新发布
08-30
根据您提供的引用内容，问题中的错误信息"F:\nodejs\\node.exe: --openssl-legacy-provider is not allowed in NODE_OPTIONS"是由于在环境变量NODE_OPTIONS中设置了--openssl-legacy-provider参数引起的。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值