mongo-connector导入数据到Elasticsearch

最新推荐文章于 2024-08-28 14:18:24 发布
最新推荐文章于 2024-08-28 14:18:24 发布
阅读量7.7k 收藏 5
点赞数 3
分类专栏： Search Engine 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyman_yx/article/details/51684218
版权
本文介绍了如何在测试环境中将MongoDB数据导入到Elasticsearch 2.3版本。首先，关注mongo-connector的版本与Elasticsearch的兼容性问题，然后通过Python 2.7环境的pip2.7安装。接着，详细阐述了使用mongo-connector命令进行数据同步的操作步骤，并解析了关键参数。在实际操作中，作者还分享了遇到的问题及解决经验。
摘要由CSDN通过智能技术生成

当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同，安装时注意版本的选择。

安装mongo-connector

测试机上Python的默认版本为2.6，由于我采用anonacoda作为Python开发环境，Python默认版本2.7。故使用pip2.7而不是pip命令。

# 安装mongo-connector（当前版本为2.3）
./CONDA-HOME/bin/pip2.7 install mongo-connector

# elastic2-doc-manager （当前版本为0.1.0）
./CONDA-HOME/bin/pip2.7 install elastic2-doc-manager

导入mongodb中的数据到Elasticsearch集群

在安装了monog-connector的机子的命令行中执行下面的命令（该命令为测试时的真实命令）。 

mongo-connector --auto
最低0.47元/天 解锁文章
hyman_yx
关注
专栏目录
搭建mongo-connector将mongo数据同步到es中
lxl_118的博客
05-13 868
本文主要介绍通过mongo-connector​​​工具实现mongo数据同步到es中 mongo-connector实现原理 mongo-connector追踪oplog日志来实现实时同步数据 搭建mongo-connector 1.搭建python环境 2.安装pip命令 # 安装pip wget https://bootstrap.pypa.io/get-pip.py ...
mongo同步es
方方园园的博客
10-29 180
python 环境3.5 pip install mongo-connector pip install elastic2-doc-manager
Mongo-Connector 使用教程
gitblog_00538的博客
08-19 880
Mongo-Connector 使用教程 项目地址:https://gitcode.com/gh_mirrors/mo/mongo-connector 项目介绍 Mongo-Connector 是一个开源项目，旨在将 MongoDB 的数据同步到其他系统，如 Elasticsearch、Solr 等。该项目最初由 MongoDB 实验室发起，现在由 YouGov Plc 维护。Mongo-Conn...
python做前端mongodb_python实现MongoDB数据同步到Elasticsearch
weixin_33007357的博客
01-29 276
原文：https://blog.csdn.net/zwq912318834/article/details/78647580?locationNum=2&fps=1python实现MongoDB数据同步到Elasticsearch1. 背景引用elasticSearch的百科：https://baike.baidu.com/item/elasticsearch/3411206?fr=ala...
MongoDB同步到ES
weixin_38126537的博客
11-24 2516
MongoDB 同步数据到 ES
python实现MongoDB数据同步到ES（Elasticsearch）
Kosmoo的博客
11-27 7623
python实现MongoDB数据同步到Elasticsearch1. 背景 引用elasticSearch的百科：https://baike.baidu.com/item/elasticsearch/3411206?fr=aladdin ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsear
mongo-connector-2.11-2.3.0
09-10
Mongo-Connector是一个强大的工具，用于将MongoDB的数据同步到其他数据存储系统，如Elasticsearch或Solr。在本案例中，我们关注的是版本2.3.0，它专为pyspark2.3.0和Scala2.11构建。这个版本确保了与特定Spark和...
Elasticsearch+Mongodb 用mongo-connector 实时更新
CS番茄
01-12 3569
0.说明: (1)单机用mongo-connector连接ES和Mongo,ES也支持作为后端数据库,当为了保持业务逻辑.用Mongo作为后端数据库,利用mongo-connector. 将mongo的数据导入到ES中 (2)原来想用nucth作为连接ES和Mongo,没有成功.指定nutch的gora配置,用nucth形成index的时候(nutch index -all),出现问题. (
使用logstash-jdbc-input插件实现mongodb数据实时同步到elasticsearch
FannieCream的博客
08-10 3268
实验介绍 具体实现
使用logstash同步MongoDB数据到es
weixin_30596343的博客
07-14 1252
input{ 　　mongodb{ codec => "json" uri => 'mongodb://127.0.0.1:27017/kuaibao' placeholder_db_dir => '/usr/local/etc/logstash-5.6.0/dbdir' placeholder_db_...
第18篇-用ElasticSearch索引MongoDB,一个简单的自动完成索引项目
weixin_48156881的博客
06-23 562
我的Elasticsearch系列文章，逐渐更新中，欢迎关注 0A.关于Elasticsearch及实例应用 00.Solr与ElasticSearch对比 01.ElasticSearch能做什么？ 02.Elastic Stack功能介绍 03.如何安装与设置Elasticsearch API 04.如果通过elasticsearch的head插件建立索引_CRUD操作 05.Elasticsearch多个实例和head plugin使用介绍 06.当Elasticsearch进行文档索引时，它是如何工
mongo-es：从MongoDB到Elasticsearch的连接器
02-03
蒙哥-ES MongoDB到Elasticsearch连接器 安装 npm i -g mongo-es 用法 命令行 # normal mode mongo-es ./config.json # debug mode, with debug info printed NODE_ENV=dev mongo-es ./config.json 以编程方式 const fs = require ( 'fs' ) const Redis = require ( 'ioredis' ) const { Config , Task , run } = require ( 'mongo-es' ) const redis = new Redis ( 'localhost' ) Task . onSaveCheckpoint ( ( name , checkpoint ) => { return redis . set ( `mongo-es: ${ name } ` , JSON . stringify ( checkpoint ) ) } ) // this will overwrite ta
mongo同步至ES数据
weixin_30597269的博客
07-24 434
启动服务 #查看所有记录状态 GET _search{ "query": { "match_all": {} }} #查看集群健康状态 GET _cat/health #查看节点状态GET _cat/nodes #查看索引状态GET _cat/indices #查看总记录数get _cat/count #查看分片情况get _cat/shards #查看安装的插件...
mongodb数据同步到elasticsearch的中间件，支持全量，增量，实时同步等多种同步情景。(syncs MongoDB to Elasticsearch in realtime) （Mong
weixin_38104426的博客
04-14 1159
github地址：https://github.com/m-wl/mongo-sync-elastic mongo-sync-elastic 使用说明 注：bin目录下的：mongo-sync-elastic是linux的可执行文件， mongo-sync-elastic.exe是windows的可执行文件 1.快速开始 linux: main -f config.json win...
使用python，将mongo数据写入es数据库中
IT之一小佬的博客
04-10 861
使用python，将mongo数据写入es数据库中
Elasticsearch：使用 MongoDB connector 同步数据到 Elasticsearch
Elastic 中国社区官方博客
05-07 2386
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎，我们可以快速地搜索相关的内容，我们也可以使用 Kibana 所提供的可视化为数据提供洞
使用monstache同步MongoDB数据到ElasticSearch
qq_44568831的博客
05-07 2241
monstache同步数据需要MongoDB开启复制集,原理是mongodb复制集会把所有写操作记录在oplog日志文件中,monstache读取日志,把所有的操作同步到ES中。 mongodb复制集节点建议单数,本次我是在一台服务器上创建,一主二从三个节点。双数节点需要配置选举节点，一个复制集最多五十个节点，选举节点最多7个（好像是） 1.安装docker（凑数得） #安装 yum install docker -y #启动docker服务 systemctl start docker.service.
MongoDB CDC 导入 Elasticsearch
nsa65223的专栏
08-28 415
【代码】MongoDB CDC 导入 Elasticsearch。
mysql数据迁移与同步常用解决方案总结
congge
05-10 6172
mysql数据迁移与同步常用解决方案总结
Ubuntu22.04安装配置mongo-connector
最新发布
10-19
Ubuntu 22.04上安装并配置Mongo Connector需要几个步骤。Mongo Connector是一个用于将数据从MongoDB同步到其他数据库系统的工具，如Cassandra、SQL等。以下是基本的安装过程： 1. 更新系统源列表： ``` sudo apt update ``` 2. 安装必要的软件包（包括Python依赖）： ``` sudo apt install python3-pip python3-dev build-essential libssl-dev ``` 3. 使用pip安装最新版的Mongo Connector及其依赖（如果需要替换默认版本，可以添加`--upgrade`选项）： ``` pip3 install pymongo-driver pymongo-cymysql thrift pip3 install mongo-connector ``` 4. 创建Mongo Connector的数据目录（例如 `/var/log/mongo-connector`）： ``` sudo mkdir -p /var/log/mongo-connector sudo chown your_username:your_username /var/log/mongo-connector ``` 将 `your_username` 替换为你实际的用户名。 5. 配置Mongo Connector。创建一个配置文件，比如`mongo-connector.yml`，并设置连接信息和目标数据库的配置： ```yaml # 示例配置： mongodb: host: localhost port: 27017 username: your_mongodb_user password: your_mongodb_password cassandra: contact_points: cassandra_server_ip keyspace: your_cassandra_keyspace logging: log_file: /var/log/mongo-connector/mongo-connector.log logging_level: INFO ``` 6. 启动Mongo Connector服务，并将其设置为开机启动： ``` mongo-connector --config /path/to/mongo-connector.yml & echo "export MONGOCONNECTOR_LOG_FILE=/var/log/mongo-connector/mongo-connector.log" >> ~/.bashrc source ~/.bashrc systemctl enable mongo-connector.service ``` 记得替换上述命令中的IP地址、用户名、密码、键空间和日志路径。 7. 验证Mongo Connector是否运行正常，可以通过访问日志文件或监控服务状态来检查。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值