Logstash 从mysql导入到Elasticsearch（全量导入）

最新推荐文章于 2024-08-05 14:21:54 发布

两个娃他爹

最新推荐文章于 2024-08-05 14:21:54 发布

阅读量1.4k

点赞数

分类专栏：代码文章标签： logstash 全量 mysql导入ES

本文链接：https://blog.csdn.net/n009ww/article/details/93204646

版权

本文介绍了如何使用Logstash 7.1.1版本将MySQL中的数据全量导入到Elasticsearch 7.1.1。首先在logstash的mysql_plugin目录下创建配置文件和SQL脚本，内容包括选择表中的所有列。然后通过logstash的bin目录运行命令启动导入过程。如果需要启动多个脚本，需指定不同的data目录以避免缓存冲突。

摘要由CSDN通过智能技术生成

1.elasticsearch版本：7.1.1

2.logstash版本：7.1.1

步骤

在logstash目录下建立目录mysql_plugin
目录下建立一个xxxx.conf文件名字随意
建立sql文件

xxx.conf

input {
    stdin {
    }
    jdbc {
   
      jdbc_connection_string => "jdbc:mysql://localhost:3306/yourdatabase?characterEncoding=UTF-8&useSSL=false"

      jdbc_user => "yourname"
      jdbc_password => "password"

      jdbc_driver_library => "D:/tools/gradle-4.10.3/repository/caches/modules-2/files-2.1/mysql/mysql-connector-java/5.1.10/b83574124f1a00d6f70d56ba64aa52b8e1588e6d/mysql-connector-java-5.1.10.jar"

      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "1000"
   
      statement_filepath => "D:/tools/es/logstash-7.1.1/mys