mongo-connector导入数据到Elasticsearch

最新推荐文章于 2024-05-07 22:20:04 发布

hyman_yx

最新推荐文章于 2024-05-07 22:20:04 发布

阅读量7.6k

点赞数 3

分类专栏： Search Engine 文章标签： elasticsearch

本文链接：https://blog.csdn.net/hyman_yx/article/details/51684218

版权

当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同，安装时注意版本的选择。

安装mongo-connector

测试机上Python的默认版本为2.6，由于我采用anonacoda作为Python开发环境，Python默认版本2.7。故使用pip2.7而不是pip命令。

# 安装mongo-connector（当前版本为2.3）
./CONDA-HOME/bin/pip2.7 install mongo-connector

# elastic2-doc-manager （当前版本为0.1.0）
./CONDA-HOME/bin/pip2.7 install elastic2-doc-manager

导入mongodb中的数据到Elasticsearch集群

在安装了monog-connector的机子的命令行中执行下面的命令（该命令为测试时的真实命令）。

mongo-connector --auto

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hyman_yx

关注关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
4
评论
mongo-connector导入数据到Elasticsearch

mongo-connector同步数据到Elasticsearch
复制链接

扫一扫

专栏目录

将MongoDB数据加载到Elasticsearch 用Elasticsearch连接到Kibana

0x8g1T9E-

06-23

6633

一、前言由于业务需要，需要将放在MongoDB的数据加载到Elasticsearch，Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext，但目前尚未支持中文。所以这里我们就用比较流行的Elasticsearch。另外，为了方便，我会基于Docker搭建MongoDB和Elasticsearch集群二、docker的安装和使用环境：Ubuntu 16.04.5 LTS 2.1 如果存在旧版本docker，先删除旧版本 $ sudo apt-get

MongoDB同步到ES

weixin_38126537的博客

11-24

2436

MongoDB 同步数据到 ES

4 条评论您还未登录，请先登录后发表或查看评论

MongoDB——Sync to ElasticSearch

世界中心的专栏

09-07

1434

5 ways to synchronize data from MongoDb to ElasticSearch Elastic search(ES) is a pop-star for recording and analyzing data, and Mongodbis a famous NoSQL database for storing and querying data

Elasticsearch：使用 MongoDB connector 同步数据到 Elasticsearch

最新发布

Elastic 中国社区官方博客

05-07

2169

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎，我们可以快速地搜索相关的内容，我们也可以使用 Kibana 所提供的可视化为数据提供洞

MongoDB数据导入Elasticsearch

WALNUT的博客

12-07

4260

1. 本文测试环境 a) Elasticsearch版本5.2 b) Python版本2.7.13 c) Vmware环境，操作系统SUSE12 2. 安装Elasticsearch a) 安装java运行环境: sudo zipper in java-1_8_0-openjdk b) 下载并解压elasticsearch，下载地址https://www.elastic.co/down

将数据从MongoDb同步到ElasticSearch的5种方法

bg1017759447的博客

08-23

1万+

弹性搜索（ES）是用于记录和分析数据的流行歌星， Mongodb是用于存储和查询数据的着名NoSQL数据库。随着我们的Web基础架构的改进，我们如何将数据从mongodb导出到ES以进行搜索或分析？建议您选择5种可能的解决方案。 1.由Web服务器同步当我们使用Nodejs作为Web服务器容器时，我们可以使用Mongoosastic模块进行双面存储。当需要存储一个文档时， Mongoos...

MongoDB 数据实时导入 Elasticsearch

Jochen的博客

11-14

1393

一、背景项目中需要实现对数据的全文检索功能，数据主要存储在了 MongoDB 中。MongoDB 本身是自带文本检索功能的，但是不支持中文，而且当数据量增大时，MongoDB 的检索效率会大大降低。由于最近在学习 Elasticsearch，而 Elasticsearch 的特性又十分适合全文检索，于是就选择了它。那么如何在对 MongoDB 进行增删改查时，实时地将 MongoDB 的数据...

mongo-connector-2.11-2.3.0

09-10

Mongo-Connector是一个强大的工具，用于将MongoDB的数据同步到其他数据存储系统，如Elasticsearch或Solr。在本案例中，我们关注的是版本2.3.0，它专为pyspark2.3.0和Scala2.11构建。这个版本确保了与特定Spark和...

mongo-connector：YouGov提供的MongoDB数据流管道工具（从MongoDB中采用）

02-23

系统总览mongo-connector创建从MongoDB集群到一个或多个目标系统（例如Solr，Elasticsearch或另一个MongoDB集群）的管道。它将MongoDB中的数据同步到目标，然后尾随MongoDB oplog，实时跟踪MongoDB中的操作。上...

mongo-spark-connector_2.11-2.2.0.jar

09-25

mongodb spark连接器，适用版本spark2.1.X ,Scala2.11.X, java 6 or later,mongodb 2.6 or later，请根据上面的版本选择，不然会报各种错误

Python-同步MongoDB数据到ElasticSearch

08-10

同步MongoDB数据到ElasticSearch，支持全量同步、增量同步、实时同步，支持全操作，支持中间数据处理

elastic2-doc-manager：适用于elasticsearch 2.x的Mongo-Connector文档管理器

02-04

`elastic2-doc-manager`是Mongo-Connector的一个插件，专门用于将MongoDB的数据同步到Elasticsearch 2.x。这个插件实现了将MongoDB文档转换为Elasticsearch兼容的JSON格式，并通过HTTP接口将它们推送到Elasticsearch...

org.mongodb.spark:mongo-spark-connector_2.11:1.1.0

11-30

mongodb-spark官方连接器，运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载，国内网络不容易下载成功，解压后保存到~/.ivy2目录下即可。

Monstache: MongoDB数据导入ES

REX1024的博客

02-24

2491

Monstache: MongoDB数据导入ES 1. Monstache介绍 monstache是一个Go语言开发的开源工具，可以将MongoDB中的数据实时地导入到Elasticsearch中，从而分析搜索这些数据。项目地址：https://github.com/rwynn/monstache 2. 安装Go语言环境首先需要安装Go语言开发环境。 Go语言安装包下载地址：https://go.dev/ 下载之后是一个压缩包。先解压到一个目录中。以Linux系统为例，解压到 /usr/local 目录

mongo同步数据到ElasticSearch的方式方法

occultskyrong的专栏

04-26

1146

MongoDB 数据同步到 ElasticSearch 的方式参考 5 ways to synchronize data from MongoDb to ElasticSearch 技术覆盖版本维护情况实现及使用方式设计模式同步方式补偿机制存在问题 Mongoosastic x.x 2018-10-16,800stars Node Module » Hook +...

ElasticSearch7.9与MongoDB集群使用mongo-connector进行通信。

YHJ

05-15

415

1.问题在上面已经搭建好了MongoDB的集群。 https://blog.csdn.net/EEEEEEcho/article/details/109196275 剩下的任务是使用ElasticSearch与MongoDB进行通信，也即实现实时同步。因为我是搭建的集群，所以我不用和mongod数据库进程通信，而是要和路由route进程进行通信，所以，要搞明白问题所在。通信所用的工具mongo-connector（一个年久失修的工具） 2.ElasticSearch环境的搭建首先，去官网下载就

mongo-connector实现MongoDB与elasticsearch实时同步深入详解

热门推荐

铭毅天下Elasticsearch

07-06

3万+

引言：验证表明：mongo-connector工具支持MongoDB与ES之间的实时增insert、删delete、改update操作。对于历史数据，mongo-connector工具不能同步到ES中，根因是本身工具不支持(初步界定），还是没有这种场景，待查（进一步研究后再更新）。1. mongo-connector 地址：https://github.com/mongodb-labs/mong

mongodb同步数据到es

weixin_41157200的博客

10-10

818

mongodb数据同步到es报错 resume of change notification was not possible, as the resume point may no longer be in the oplog

mongo --out

08-10

引用介绍了使用无认证方式连接MongoDB数据库的方法。首先需要创建一个MongoDB客户端，指定服务器的IP地址和端口号，然后获取要连接的数据库。接下来可以进行基本操作，如创建集合。引用展示了使用直连方式连接MongoDB数据库的代码示例。其中的MongoDBUtil类提供了获取数据库和集合的方法。引用则展示了使用直连方式支持用户认证的代码示例，其中的MongoDBAuthUtil类提供了创建带有用户认证信息的MongoDB连接的方法。根据您提供的代码引用，似乎您正在尝试使用mongo命令的--out选项。然而，在您提供的引用中，并没有提到与mongo命令行工具相关的内容。请提供更多信息，以便我能够更好地回答您的问题。123 #### 引用[.reference_title] - *1* [Java操作MongoDB使用mongo-java-driver](https://blog.csdn.net/jinxilongjxl/article/details/108734824)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *2* *3* [mongo-java-driver操作MongoDB](https://blog.csdn.net/hc1285653662/article/details/122445381)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]