Logstash采集数据到ES

一、使用Logstatsh采集数据库数据到ES

1.环境搭建和工具准备
（1）es环境搭建
参考：https://editor.csdn.net/md/?articleId=107477555
（2）MySQL数据库环境准备
（3）准备Logstatsh工具
本次使用版本为：logstash-6.4.3.tar.gz，包括es版本也是使用的6.4.3
（4）Linux环境准备
（5）准备MySQL驱动包
本次使用版本为：mysql-connector-java-5.1.41.jar，最好跟数据库版本对应
（6）预先创建好索引

2.安装和配置Logstatsh
（1）解压logstash-6.4.3.tar.gz文件

tar -zxvf logstash-6.4.3.tar.gz 

（2）移动解压后的文件

 mv logstash-6.4.3 /usr/local/

（3）进入logstash-6.4.3被移动后的目录

cd /usr/local/logstash-6.4.3

（4）在当前文件夹下创建sync目录

mkdir sync

（5）拷贝驱动包到sync目录

cd sync/

cp /home/software/mysql-connector-java-5.1.41.jar .

（6）在sync目录中创建同步配置文件

vim logstash-db-sync.conf

logstash-db-sync.conf文件内容如下：

input {
   
    jdbc {
   
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://ip:3306/数据库?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/sync-sql.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "