配置logstash拉取myql8.0.18数据库中的数据到elastcisearch中

最新推荐文章于 2024-04-23 10:33:19 发布
最新推荐文章于 2024-04-23 10:33:19 发布
阅读量482 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/reblue520/article/details/108212606
版权

配置logstash拉取myql8.0.18数据库中的数据到elastcisearch中


环境:
系统：centos7.8_x86_64
# java --version
openjdk 13.0.1 2019-10-15


1.下载并配置logstash

# 修改 logstash.yml
path.config: /usr/local/elk/logstash-7.4.2/config/logstash.conf

# cat /usr/local/elk/logstash-7.4.2/config/logstash.conf 

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
      jdbc_user => "mysqluser"
      jdbc_password => "mysqlpass" 
      jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      
      statement => "SELECT * FROM font_element WHERE updated_at > :sql_last_value"
 
      jdbc_default_timezone =>"Asia/Shanghai"
      record_last_run => "true"

      use_column_value => "true"
      tracking_column => "updated_at"
      tracking_column_type => "timestamp"

      last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_font_element"  
      clean_run => "false"
      schedule => "*/3 * * * *"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      type => "font-element"
    }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
        jdbc_user => "mysqluser"
        jdbc_password => "mysqlpass" 
        jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_default_timezone =>"Asia/Shanghai"
        
        statement => "SELECT i.id, i.guid, i.thumbnail, i.property, i.updated_at, i.created_at, kg.keywords, ec.category_name FROM image_element i left join
(
  select element_id, GROUP_CONCAT(keyword separator ' ') as keywords from image_element_keywords as ie INNER JOIN keywords as k on ie.keywords_id = k.id GROUP BY element_id
) as kg on i.id = kg.element_id left JOIN element_category as ec on i.category_id = ec.id WHERE i.updated_at > :sql_last_value"
 
        record_last_run => "true"
        use_column_value => "true"
        tracking_column => "updated_at"
        tracking_column_type => "timestamp"

        last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_image_element"  
        clean_run => "false"
        schedule => "*/3 * * * *"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        type => "image-element"
    }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
        jdbc_user => "mysqluser"
        jdbc_password => "mysqlpass" 
        jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_default_timezone =>"Asia/Shanghai"
        
        statement => "SELECT i.id, i.guid, i.thumbnail, i.property, i.updated_at, i.created_at, kg.keywords, '' as category_name FROM background_element as i left join
(
  select element_id, GROUP_CONCAT(keyword separator ' ') as keywords from background_element_keywords as ie INNER JOIN keywords as k on ie.keywords_id = k.id GROUP BY element_id
) as kg on i.id = kg.element_id WHERE i.updated_at > :sql_last_value"
 
        record_last_run => "true"
        use_column_value => "true"
        tracking_column => "updated_at"
        tracking_column_type => "timestamp"

        last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_background_element"  
        clean_run => "false"
        schedule => "*/3 * * * *"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        type => "background-element"
    }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
        jdbc_user => "mysqluser"
        jdbc_password => "mysqlpass" 
        jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_default_timezone =>"Asia/Shanghai"
        
        statement => "SELECT i.id, i.guid, i.thumbnail, i.property, i.updated_at, i.created_at, kg.keywords, ec.category_name FROM shape_element as i left join
(
  select element_id, GROUP_CONCAT(keyword separator ' ') as keywords from shape_element_keywords as ie INNER JOIN keywords as k on ie.keywords_id = k.id GROUP BY element_id
) as kg on i.id = kg.element_id left JOIN element_category as ec on i.category_id = ec.id WHERE i.updated_at > :sql_last_value"
 
        record_last_run => "true"
        use_column_value => "true"
        tracking_column => "updated_at"
        tracking_column_type => "timestamp"

        last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_shape_element"  
        clean_run => "false"
        schedule => "*/3 * * * *"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        type => "shape-element"
    }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
        jdbc_user => "mysqluser"
        jdbc_password => "mysqlpass" 
        jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_default_timezone =>"Asia/Shanghai"
        
        statement => "SELECT id, keyword, category_name, updated_at FROM keywords WHERE updated_at > :sql_last_value"
 
        record_last_run => "true"
        use_column_value => "true"
        tracking_column => "updated_at"
        tracking_column_type => "timestamp"

        last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_keywords"
        clean_run => "false"
        schedule => "*/3 * * * *"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        type => "keywords"
    }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://172.30.0.109:3306/graphics?useSSL=false"
        jdbc_user => "mysqluser"
        jdbc_password => "mysqlpass" 
        jdbc_driver_library => "/usr/local/elk/logstash-7.4.2/config/mysql-connector-java-8.0.18.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_default_timezone =>"Asia/Shanghai"
        
        statement => "select t.id, t.guid, t.title, t.property, t.user_id, t.user_name, t.thumbnail, t.description, t.updated_at, kg.keywords, tc.category_name from template as t left join 
(
 select template_id, GROUP_CONCAT(keyword separator ' ') as keywords from template_keywords as tk INNER JOIN keywords as k on tk.keywords_id = k.id GROUP BY template_id
) as kg on kg.template_id = t.id inner JOIN template_category as tc on t.category_id = tc.id where t.on_market = 1 and t.updated_at > :sql_last_value"
 
        record_last_run => "true"
        use_column_value => "true"
        tracking_column => "updated_at"
        tracking_column_type => "timestamp"

        last_run_metadata_path => "/usr/local/elk/logstash-7.4.2/config/logstash_jdbc_last_run_template"  
        clean_run => "false"
        schedule => "*/3 * * * *"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        type => "template"
    }
}
 
filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}
 
output {
    if[type] == "font-element" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "logstash-ex-font_element"
            document_id => "%{id}"
            user => "elastic"
            password => "pass"
        }
    }
    if[type] == "image-element" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "element"
            document_id => "image_element_%{id}"
            user => "elastic"
            password => "pass"
        }
    }
    if[type] == "background-element" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "element"
            document_id => "background_element_%{id}"
            user => "elastic"
            password => "pass"
        }
    }
    if[type] == "shape-element" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "element"
            document_id => "shape_element_%{id}"
            user => "elastic"
            password => "pass"
        }
    }
    if[type] == "keywords" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "keywords"
            document_id => "keywords_%{id}"
            user => "elastic"
            password => "pass"
        }
    }
    if[type] == "template" {
        elasticsearch {
            hosts => "172.30.0.106:9200"
            index => "template"
            document_id => "template_%{id}"
            user => "elastic"
            password => "pass"
            template_overwrite => true
            template => "/usr/local/elk/logstash-7.4.2/config/template-es.json"
        }
    }
    stdout {
        codec => json_lines
    }
}

2.logstash安装logstash-input-jdbc插件
bin/logstash-plugin install logstash-input-jdbc

3.下载mysql的驱动，注意是logstash要通过java连接mysql数据库插入es中
驱动
https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar


拷贝驱动程序到 /usr/local/elk/logstash-7.4.2/logstash-core/lib/jars 目录下

否则会报错：
  2040     LogStash::PluginLoadingError
  2040     com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?  2038     com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?
  2038       /usr/local/elk/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:190:in `open_jdbc_connection'
  2038       /usr/local/elk/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:253:in `execute_statement'
  2038       /usr/local/elk/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:309:in `execute_query'
  2038       /usr/local/elk/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:276:in `block in run'
  2038       /usr/local/elk/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:234:in `do_call'



4.使用systemctl管理Logstash程序

# vim /etc/systemd/system/logstash.service 

[Unit]
Description=logstash
[Service]
Type=simple
User=logstash
Group=logstash
Environment=JAVA_HOME=/usr/local/elk/elasticsearch-7.4.2/jdk
Environment=LS_HOME=/usr/local/elk/logstash-7.4.2
Environment=LS_SETTINGS_DIR=/usr/local/elk/logstash-7.4.2/config/
Environment=LS_PIDFILE=/usr/local/elk/logstash-7.4.2/logstash.pid
Environment=LS_USER=logstash
Environment=LS_GROUP=logstash
Environment=LS_GC_LOG_FILE=/usr/local/elk/logstash-7.4.2/logs/gc.log
Environment=LS_OPEN_FILES=16384
Environment=LS_NICE=19
Environment=SERVICE_NAME=logstash
Environment=SERVICE_DESCRIPTION=logstash
ExecStart=/usr/local/elk/logstash-7.4.2/bin/logstash "--path.settings" "/usr/local/elk/logstash-7.4.2/config/"
Restart=always
WorkingDirectory=/usr/local/elk/logstash-7.4.2
Nice=19
LimitNOFILE=16384


[Install]
WantedBy=multi-user.target

 # cat /usr/local/elk/logstash-7.4.2/config/template-es.json 

{
    "template": "*",
    "version": 50001,
    "settings": {
        "index.refresh_interval": "5s",
        "analysis": {
            "analyzer": {
                "comma": {
                     "type": "pattern",
                     "pattern":","
                }
            }
        }
    },
    "mappings": {
        "properties": {
            "id": {
                "type": "long"
            },
            "template_name": {
                "type": "text",
                "analyzer": "standard"
            },
            "template_data": {
                "type": "text",
                "analyzer": "standard"
            },
            "author": {
                "type": "text",
                "analyzer": "standard"
            },
            "keywords": {
                "type": "text",
                "analyzer": "comma"
            },
            "category_ids": {
                "type": "text",
                "analyzer": "comma"
            },
            "thumb_id": {
                "type": "long"
            },
            "description": {
                "type": "text",
                "analyzer": "standard"
            },
            "updated_at": {
                "type": "date"
            },
            "created_at": {
                "type": "date"
            },
            "@timestamp": {  
               "type": "date"
            },
            "@version": {
              "type": "keyword"
            }
        }
    }
}

 

reblue520
关注
使用Logstash-input-jdbc插件抽取Mysql库中的数据到ELK中
weixin_44480386的博客
08-05 380
Logstash-Jdbc同步到 elasticsearch mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，而 logstash 刚好就可以支持，所有你需要做的只是写一个配置文件而已。 获取Logstash-Jdbc 下载与Logstash相对应的版本号 Logstash-Jdbc插件
logstash读取mysql表数据_Logstash : 从 SQL Server 读取数据
weixin_28677005的博客
01-20 919
有些既存的项目把一部分日志信息写入到数据库中了，或者是由于其它的原因我们希望把关系型数据库中的信息读取到 elasticsearch 中。这种情况可以使用 logstash 的 jdbc input 插件从关系型数据库中读取日志数据，然后输出到 elasticsearch 中。本文介绍如何在 windows 系统中配置 logstash 从 SQL Server 数据库中读取数据。说明：演示的环境...
logstash读取mysql表数据_官方使用logstash同步Mysql数据表到ES的摘抄
weixin_34458671的博客
02-01 260
配置多个SQL语句编辑当需要从不同的数据库表或视图中查询和提取数据时，配置多个SQL语句很有用。可以为每个语句定义单独的Logstash配置文件，或者在一个配置文件中定义多个语句。在单个Logstash配置文件中使用多个语句时，必须将每个语句定义为单独的jdbc输入(包括jdbc驱动程序，连接字符串和其他必需的参数)。请注意，如果任何语句使用sql_last_value参数(例如，仅提取自上次运行...
安装logstash-7.9.3和filebeat-7.9.3
weixin_39816740的博客
11-06 1547
上传 logstash-7.9.3和filebeat-7.9.3到 /usr/local/java下 解压logstash-7.9.3 tar -zxvf logstash-7.9.3.tar.gz 未完待续！
最新版linux logstash-8.0.0-linux-x86_64.tar.gz
02-11
最新版linux logstash-8.0.0-linux-x86_64.tar.gz
关于使用logstash把mysql数据库中表数据同步更新到elasticsearch索引中（实践记录）
zhoufei3813的专栏
03-04 818
最近做了一个实战项目，为了实现文章关键词搜索功能，就采用了elasticsearch来实现，具体的实现方法不多说。实现了搜索功能后，这就涉及到了一个问题，就是如何把现有的mysql数据库中的文章表中的数据同步更新到elasticsearch索引中？ 以下是实现方法。。 一、下载好elasticsearch和logstash，如图： 运行elasticsearch，就是双击elasticsearch...
logstash mysql 配置_Logstash将数据导入至MYSQL
weixin_35019679的博客
01-19 720
Logstash 版本：6.2.4Logstash 经常做的事情，是将日志文件进行解析，并且导入至 ElasticSearch 中但是目前碰到的问题是，怎么将数据导入至 DB 中，比如 MYSQL。这就需要下面这个神器了！JDBC output for Logstash首先，安装 Logstash 6.2.4，并确保 JDK 的版本是 1.8。然后进入 Logstash 目录，安装插件 logst...
ELK —— Logstash 将 MySQL 数据同步至 ElasticSearch
最新发布
2301_82242204的博客
04-23 1042
是基于Lucence的分布式搜索引擎，也可以作为“数据库”存储一些数据，同类产品还有一个叫做solr的，这里就不做描述谈到面试，其实说白了就是刷题刷题刷题，天天作死的刷。。。。。为了准备这个“金三银四”的春招，狂刷一个月的题，狂补超多的漏洞知识，像这次美团面试问的算法、数据库、Redis、设计模式等这些题目都是我刷到过的并且我也将自己刷的题全部整理成了PDF或者Word文档（含详细答案解析）66个Java面试知识点。
logstash从文本文件中读取数据存到mysql数据库中
qq_34136709的博客
01-15 1101
logstash从文本文件中读取数据存到mysql数据库中 最近项目中有一个需求：logstash从文本文件中读取数据存到mysql数据库中，花了我快两天的时间，以防忘记故来记录一下： 第一步：logstash安装 首先我们要在服务器上安装logstash，对应的安装包链接如下： https://download.csdn.net/download/qq_34136709/14363673 进行解压缩即可， 第二步：安装logstash-output-jdbc插件 （1）在线安装 进入到logstash的
logstash同步MySQL8.0数据到elasticsearch
weixin_44863976的博客
04-20 825
一、首先下载安装logstash 下载地址：https://www.elastic.co/cn/downloads/logstash 下载后解压即可 二、测试安装是否成功 进入logstash文件夹下的 /bin 目录下，执行logstash ‐e ‘input { stdin { } } output { stdout {} }’ 命令，出现以下结果即为安装成功 三、logstash-in...
【Logstash8.1.0&kafka单机部署】
daiwenshuai的博客
08-03 859
Logstash8.1.0&kafka单机部署
logstash配置简单说明
xuegaoxuegao的博客
02-26 811
Logstash：收集、解析和转换日志 | Elastic 接上文filebeat配置简单说明_xuegaoxuegao的博客-CSDN博客 日志采集推给logstash后,需要针对自己的需求做对应处理. input { beats { port => 9901 } } filter { #根据logstash接受的数据中 fileds字段下的logType来判断,采取不同策略 if [fields][logtype] == "newApp" {...
logstash-7.1.1 多表导入ES 踩坑
weixin_34192816的博客
06-03 1466
不想听我啰嗦的，可以直接看最终配置 写完一步一个脚印实现logstash同步MySQL数据到ES后，想试试多表保存到ES里，原本以为只要多复制几个JDBC加个type就可以搞定，结果悲剧的发现都是问题，在这里记录一下需要注意的问题 需要注意的配置 tracking_column 报错信息 lastmodifiedTime一定要在你查询的结果集里面 tracking_column => ...
基础24 ElastciSearch search结果解析
架构师的成长之路的博客
04-15 830
24 ElastciSearch search结果解析分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记概述1、我们如果发出一个搜索请求的话，会拿到一堆搜索结果，本节课，我们来讲解一下，这个搜索结果里的各种数据，...
Logstash在CentOS Linux 8 下的 简单配置及启动
Tristone的博客
02-24 2227
logstash 对于初学者来说是最容易出问题的，所以一下要开 2 个 SSH，一个是命令操作，一个用 看查看日志，要保证不要报错。 1、安装 我们已经配置过Elasticsearch的yum源，这里可以直接使用。 # dnf -y install --enablerepo=elasticsearch logstash 安装完成后查看 # rpm -ql logstash|grep 'logst...
【环境部署】docker安装logstash7.8.0
清风唱诗人的博客
05-21 859
前言:上一篇中，提到了centos实体机器安装logstash，这里单独使用docker安装下。 环境: Windows10 19042 docker 0.19.0 hype-v方式安装 elastic search 7.8.0 kibana 7.8.0 步骤: 1.拉取对应版本镜像 docker pull logstash:7.8.0 2.创建外部目录(手动创建即可),windows环境可以如D:\env\logstash 3.启动镜像,目的是拿到对应的配置文件. docker .
Logstash读取数据库表数据同步存储到指定的ES索引
m0_37845840的博客
10-14 1972
如果linux不可联外网，从官网https://www.elastic.co/cn/downloads/past-releases#logstash 下载所需要对应的linux版本的logstash压缩包到本地，然后使用rz命令上传压缩文件到linux服务器上 或者使用wget命令直接在服务器上下载压缩包 wgethttps://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.zip ...
IDEA+connecor j操作数据库：安装mysql+IDEA连接数据库+maven导入jar包+lastUpdated文件解决方案
weixin_44893585的博客
02-29 301
1.连接数据库 mysql服务端的安装：https://blog.csdn.net/suchenbin/article/details/83857229 cmd进入mysql的指令：在cmd中直接输入 mysql -uroot -p123456即可。 安装mysql可视化界面，mysql-front 电脑-管理-服务-MySQL-启动后，登录，之后可以在界面进行数据库操作（如果连接不到127.0....
logstash 从数据库获取数据到将数据导入到es步骤
sxf_123456的博客
08-03 3709
1、logstash配置文件存放路径 /data/app/etc/logstash/conf.d/ 2、sql脚本存放路径 /data/tmp/etl/scripts 3、获取数据的oracle命令 /data/tmp/etl/bin 4、oracle命令执行生成日志存放路径 /data/tmp/etl/log 5、执行logstash生成日志存放路径 /data/app/var
LogStash如何从MySQL数据库中根据“updateTime”这个字段同步数据到ES中
05-26
在这个配置文件中，我们使用JDBC input插件从MySQL中读取数据，查询语句中使用了`:sql_last_value`占位符来表示上一次同步的时间戳，这样Logstash就可以根据`updateTime`字段的值来增量同步数据。另外，设置了`...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值