ELK增量同步数据【MySql-＞ES】

已于 2023-07-04 16:18:57 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： ELK 文章标签： elk elasticsearch
于 2023-06-30 16:27:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/one_rabbit2016/article/details/131474667
版权

一、前置条件

        1.  linux，已经搭建好的logstash+es+kibana【系列版本7.0X】，es 的plugs中安装ik分词器

ES版本：

 Logstash版本：

 （以上部署，都是运维同事搞的，我不会部署，同事给力）

二、编写Logstash.sh 执行文件

1、在Logstash安装目录下【/usr/share/logstash】，新建XX.sh，内容如下：

/usr/share/logstash/bin/logstash --path.data /usr/share/logstash/case-conf -e 'input {
 jdbc {
    jdbc_driver_library => "/var/local/logstash/etc/lib/mysql-connector-java-8.0.15.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://IP:端口号/数据库?serverTimezone=Asia/Shanghai&autoReconnect=true&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull&characterEncoding=utf8&useSSL=false&tinyInt1isBit=false"
    jdbc_user => "用户名"
    jdbc_password => "密码"
    schedule => "* * * * *"
    use_column_value => true
    tracking_column => "update_at"
    tracking_column_type => "numeric"
    last_run_metadata_path => "/usr/share/logstash/case-last"
statement_filepath => "/usr/share/logstash/case_.sql"
  }
}

output {
  elasticsearch {
    hosts => ["es1:9206","es2:9207","es3:9208"]
	action=>"index"
    index => "case"
    document_id => "%{case_id}"
    template => "/usr/share/logstash/template-case.json"
	template_name=>"template-case.json"
	template_overwrite=>true
    }
}'

2. 在Logstash安装目录下【/usr/share/logstash】,新建case.sql文件：查询字段，根据业务要求书写，不需要全字段查询

SELECT * FROM 表名称 where update_at > :sql_last_value

where条件中的，update_at 是表更新时间，与case.sh 中的 tracking_column 强关联；默认logstash 每分钟执行一次case.sql ,执行后会生成一个case-last文件，里面记录最后一次执行时间；

3.  关于output，配置项，使用了自定义创建索引的模板方式，在表中有数据为前提，执行case.sh 会用到模板创建索引；如果不配置，es会默认给创建mapping，默认的话，分词都是英文分词器； 执行效果如下：sh  case.sh后：

 注意细节： 

output {
  elasticsearch {
    hosts => []
    action=>"index"
    index => "case"   //索引名称
    document_id => "%{case_id}"  //动态数据，数据ID
    template => "/usr/share/logstash/template-case.json"   //模板文件路径
    template_name=>"template-case.json"            //模板名称
    template_overwrite=>true                                 
    }
}

4. 在Logstash安装目录下【/usr/share/logstash】，新建template-case.json，内容如下：

{
  "template" : "case*",
  "settings" : {
    "index.refresh_interval" : "5s",
    "number_of_replicas":"1",
    "number_of_shards":"1"
  },
  "mappings": {
    "date_detection": false,
    "numeric_detection": false,
    "dynamic_templates": [
      {
        "integers": {
          "match_mapping_type": "long",
          "mapping": {
            "type": "integer"
          }
        }
      },
      {
        "strings": {
          "match_mapping_type": "string",
          "unmatch": "*_en",
          "mapping": {
            "type": "text",
            "analyzer":"ik_max_word",
            "search_analyzer": "ik_smart",
            "fields": {
              "raw": {
                "type":  "keyword",
                "ignore_above": 100
              }
            }
          }
        }
      }
    ]
  }
}

注意：

1、模板名称和case.sh 中的index 匹配；模板中的名称后必须带个*：  "template" : "case*",

2、模板比较简单，关闭了日期动态检测和数字格式动态检测；不然创建索引的时候格式会乱；尤其是日期；比如数据库中字段是varchar，但是存的是yyyy-MM-dd hh:mm:ss 日期格式的话，es创建索引是date格式的；

    "date_detection": false,
    "numeric_detection": false,

3、string格式的字段，默认给转出text, 并且使用ik分词器；排除了_en结尾的字段，存英文的字段建表的时候注意下，使用默认分词就好；

   "unmatch": "*_en"

三、Kibana验证

1、GET case_/_mapping：

{
  "case" : {
    "mappings" : {
      "dynamic_templates" : [
        {
          "integers" : {
            "match_mapping_type" : "long",
            "mapping" : {
              "type" : "integer"
            }
          }
        },
        {
          "strings" : {
            "unmatch" : "*_en",
            "match_mapping_type" : "string",
            "mapping" : {
              "analyzer" : "ik_max_word",
              "fields" : {
                "raw" : {
                  "ignore_above" : 100,
                  "type" : "keyword"
                }
              },
              "search_analyzer" : "ik_smart",
              "type" : "text"
            }
          }
        }
      ],
      "date_detection" : false,
      "numeric_detection" : false,
      "properties" : {
        "@timestamp" : {
          "type" : "text",
          "fields" : {
            "raw" : {
              "type" : "keyword",
              "ignore_above" : 100
            }
          },
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "raw" : {
              "type" : "keyword",
              "ignore_above" : 100
            }
          },
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
        "apply_education" : {
          "type" : "text",
          "fields" : {
            "raw" : {
              "type" : "keyword",
              "ignore_above" : 100
            }
          },
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },  
        "apply_major_en" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "apply_school_name" : {
          "type" : "text",
          "fields" : {
            "raw" : {
              "type" : "keyword",
              "ignore_above" : 100
            }
          },
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
        "apply_school_name_en" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
     
        "begin_learn_time_at" : {
          "type" : "integer"
        },
  
        "case_id" : {
          "type" : "integer"
        },     
   
        "case_result_time_at" : {
          "type" : "integer"
        },
    
        "country_name" : {
          "type" : "text",
          "fields" : {
            "raw" : {
              "type" : "keyword",
              "ignore_above" : 100
            }
          },
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
  
   
    
        "school_id" : {
          "type" : "integer"
        },
          
        "update_at" : {
          "type" : "integer"
        }
      }
    }
  }
}

查看，映射字段是否满足要求；

2.  验证索引分词结果：

GET case/_analyze
{
  "field": "apply_education",
  "text": "马斯特里赫特大学" 
}

分词结果：

{
  "tokens" : [
    {
      "token" : "马斯特里赫特",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "马斯",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "特里",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "赫",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "特大",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "大学",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

验证完成；

四、相关资料

1. Elastic：开发者上手指南_elastic.show_Elastic 中国社区官方博客的博客-CSDN博客

2. Mutate filter plugin | Logstash Reference [8.8] | Elastic

五、注意事项

1. 此种方法，只能针对表数值为逻辑删除的情况，若业务是物理删除，则需要同步删除索引中的数据；

2. 所有update 操作，都需要同时修改 update_at 字段

今天的砖头很烫手
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash-jdbc-input 同步数据到es的多任务配置
04-14
logstash + elasticsearch + kibana， 资源为mysql数据库增量同步到es的配置
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰 该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是“摄取”类型，这是ElasticSearch文档中的摄取类型。 接收节点包括一个基于CPU使用率的horizo​​ntalalPodAutoscaler，这些节点连接到Kibana的内部服务以及外部HTTP输入的外部服务。 第三种类型是“数据”节点。 这些是使用statefulSet和PersistentVolumeClaims构造的，它们会相应缩放。 您只能按比例缩放（+ 1，-1，到最新的容器），并且所有通用的ElasticSearch规则都适用（如果删除的节点数量超过允许群集重新平衡自身之间无法承受
Elasticsearch实战-数据同步（解决es数据增量同步）
Blueeyedboy521的博客
04-26 5121
一、数据同步问题分析 之前测试的数据都是一次从mysql导入到es，随着时间的推移，每天都有可能发生增删改查，不可能每次都全量同步，所以需要考虑增量同步问题。 二、解决方案 1、同步调用 缺点： 耦合性高，服务之间会相互影响 2、异步通知 依赖消息队列的可靠性 3、监听binlog 4、方案对比 三、案例-利用MQ实现Mysql与Elasticsearch数据同步 1、导入hotel-admin项目 启动：端口8099 2、申明exchange、queue、RoutingKey /** *
ELK搭建（六）：搭建mysql性能、执行效率监控平台
55555的博客
05-07 1881
mysql作为市场的主流数据库，承载了大部分公司的核心业务数据，同时也是大多数业务的底层存储。 针对mysql运行情况的监控必不可少，之前我们讲解了如何搭建mysql慢日志、错误日志的监控平台。 那么本期，我们针对mysql集群、性能、各类sql语句执行情况、服务状态等指标来搭建一个可视化的监控平台，方便我们实时了解mysql资源利用率、sql执行效率、访问压力等等
ELK原理讲解与收集MySQL慢日志实现
weixin_42460087的博客
08-04 1228
ELK 最早是 Elasticsearch（简称ES）、Logstash、Kibana 三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为Elastic Stack，成为现在最流行的开源日志解决方案，虽然有了新名字但大家依然喜欢叫ELK，现在所说的ELK就指的是基于这些开源软件构建的日志系统。一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块。...
ELK技术栈(四) elasticsearch 数据聚合 数据同步
qq_50909707的博客
05-06 1106
目录 一、数据聚合 1、Bucket聚合 2、Metries聚合 3、自动补全 二、数据同步 1、同步通知 2、异步通知 3、binlog监听 4、小结 5、案例：基于MQ实现数据同步 一、数据聚合 1、Bucket聚合 小结： 2、Metries聚合 3、自动补全 二、数据同步 1、同步通知 耦合严重，影响性能 2、异步通知 3、binlog监听 该方案耦合最低，但对数据库压力最大 ...
ELK（Elasticsearch、Kibana、Logstash）以及向ES导入mysql数据库数据或CSV文件数据，创建索引和可视化数据
超级无敌王大侠的博客
05-19 2540
在Products和version处分别选择需要下载的产品和版本，E（elasticsearch）L（logstash）K（kibana）三者版本必须相同将下载好的elk分别解压到相同路径下。
【elasticsearch专题】：Logstash从入门到同步MySQL数据
dougsu的博客
08-14 1567
日志处理对于任何现代IT系统都是关键部分，本教程专为新手设计，通过详细解释Logstash的三大核心组件，为您展示如何从零开始搭建强大的日志处理系统。您还将学习如何同步MySQL数据到Elasticsearch，并通过一个"Hello World"示例快速入门。无论您是完全的新手还是有一些基础，本教程都将引导您顺利掌握Logstash的基本操作和高级应用。
ES增量同步方案
Code changes the world！
03-10 2552
基于对我们系统现状的分析，最终确定的方案选择是基于Oracle的SCN机制 + 触发器来实现增量同步数据到ES，不依赖开源框架，基于Oracle的SCN机制实现insert/update数据的增量同步，基于delete触发器实现delete数据的增量同步。通过数据库的触发器监控数据的增加、修改、删除，然后把新增、修改、删除的数据备份一条数据到变更记录表里，通过Java定时器定时同步方式的把变更的数据同步到ES中，具体同步流程参数下图。缺点：1、通知特性是Oracle的实验特性，并不稳定，有些版本并不支持；
ELK整理（Logstash）使用详解和问题解决
Cx的博客
01-04 890
1.Logstash增量同步 2.Logstash同步mysql多数据表时到elasticsearch时数据错乱
elk-stack-mongo-node-docker
05-13
elk-stack-mongo-node-docker
elk-stack-guide-cn.pdf
12-31
像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。Logstash是ELK的中央数据流引擎，...
docker-elk-tutorial：docker-elk-tutorial + Django +日志记录
02-04
步骤二Logstash将处理完后的日志信息转发到Elasticsearch进行索引。步骤三最后使用者可以透过Kibana分析以及视觉化所要的资料。以上就是整个工作的流程，那他有什么用呢 :confused_face:像是分散式系统好了，之前...
ELK日志系统的搭建
adminstate的博客
04-23 1070
ELK日志系统搭建
ELK技术介绍：背景、功能及应用场景全面解析
最新发布
weixin_54533548的博客
04-25 740
ELK是由Elasticsearch、Logstash和Kibana三个开源软件组成的日志管理解决方案，这一组合在近年来得到了广泛的关注和应用。ELK的出现，源于大数据和云计算技术的快速发展，以及对高效日志管理的迫切需求。随着企业信息化程度的提高，各类应用系统和服务器产生的日志数据量日益庞大，如何有效收集、处理、分析和利用这些日志数据，成为了企业和开发者面临的重要问题。传统的日志管理方式往往效率低下，无法满足实时性、可扩展性和易用性的需求。
ELK创建仪表盘
qq_42301955的博客
04-22 362
ELK创建仪表盘
ElasticSearch 入门学习
灰熊
04-23 822
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
Elasticsearch 开放 inference API 增加了对 OpenAI chat completions 的支持
Elastic 中国社区官方博客
04-21 1902
我们很高兴地宣布在 Elasticsearch 中推出的最新创新：在 Elastic 的中集成了 OpenAI Chat Completions 功能。这一新特性标志着我们在整合尖端人工智能能力至 Elasticsearch 的旅程中又迈出了一步，提供了生成类人文本完成等更多易于使用的功能。更多关于 OpenAI Chat Completions 的用法，请阅读文章 “
JenKins使用（Linux）
qq_35930739的博客
04-21 1027
Pipeline。
elk将MySQL的数据导出到es
06-06
ELK是指Elasticsearch、Logstash和Kibana三个开源软件的组合，可以用来处理和可视化大规模数据。在ELK中，Logstash用于数据收集、处理和转换，Elasticsearch用于数据存储和检索，Kibana用于数据可视化。 以下是将MySQL数据导出到Elasticsearch的大致步骤： 1. 安装Elasticsearch、Logstash和Kibana。 2. 创建一个Logstash配置文件，指定MySQL作为数据源，并将数据导入到Elasticsearch中。例如，以下是一个简单的Logstash配置文件示例： ``` input { jdbc { jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase" jdbc_user => "myuser" jdbc_password => "mypassword" jdbc_driver_library => "/path/to/mysql-connector-java.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" statement => "SELECT * from mytable" } } output { elasticsearch { hosts => ["localhost:9200"] index => "myindex" document_type => "_doc" } } ``` 在这个配置文件中，我们使用jdbc插件来读取MySQL中的数据，然后使用elasticsearch插件将数据写入到Elasticsearch中。 3. 运行Logstash，让它开始读取MySQL中的数据并将数据导入到Elasticsearch中。你可以通过以下命令来启动Logstash： ``` bin/logstash -f /path/to/config/file.conf ``` 这里的`/path/to/config/file.conf`是你的Logstash配置文件的路径。 4. 检查Elasticsearch中是否已经成功导入了MySQL中的数据。你可以使用Kibana等工具来浏览和查询Elasticsearch中的数据。 需要注意的是，这只是一个简单的示例，你需要根据自己的具体情况来设置Logstash的配置文件。同时，也需要确保MySQL和Elasticsearch都已经正确地安装和配置好。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值