Logstash7.6.2实现mysql同步数据到elasticsearch(linux)

本文介绍了如何在Linux环境下,通过Logstash 7.6.2将MySQL数据库中的数据同步到Elasticsearch。首先,下载并安装logstash-input-jdbc和logstash-output-elasticsearch插件,接着下载mysql-connector-java-8.0.17.jar作为连接库。然后,在Kibana中创建新的Elasticsearch索引并清空旧索引。最后,配置logstash的配置文件,并启动Logstash进行数据同步。
摘要由CSDN通过智能技术生成

下载安装(linux)

cd /opt
tar -zxvf logstash-7.6.2.tar.gz
cd logstash-7.6.2/

安装插件

由于这里是从mysql同步数据到elasticsearch,所以需要安装jdbc的入插件和elasticsearch的出插件:logstash-input-jdbc、logstash-output-elasticsearch

bin/logstash-plugin install logstash-input-jdbc
bin/logstash-plugin install logstash-output-elasticsearch

在这里插入图片描述

下载mysql连接库

将jar包"mysql-connector-java-8.0.17.jar"
放至logstash-7.6.2\logstash-core\lib\jars目录下
表结构
在这里插入图片描述

新增ES索引(在Kibana)

PUT kjt_patent

{
  "mappings": {
      "properties": {
        "id": {
          "type": "text"
        },
        "title": {
          "type": "text"
        },
        "tag": {
          "type": "text",
          "analyzer": "whitespace"
        }
      }
  }
}

清空索引

POST kjt_patent/_delete_by_query
{
   
  "query": 
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值