elasticsearch logstash-7.0.0同步mysql配置

logstash-7.0.0同步mysql配置

windows环境：

1. bin文件夹新建run_default.bat（随意命名）写入

   logstash -f mysqletc/mysql.conf
   

2. bin文件夹新建文件夹mysqletc（随意命名）

     - mysql.conf （脚本将logstash输入，输出到elasticsearch）
     - lico_user.sql（sql语句将数据录入elasticsearch）
     - mysql-connector-java-5.1.47.jar（需要下载独立开发包。警告：高开发包版本可能造成时区问题）
   

   mysql.conf配置示例：

    	input {
        	stdin {}
        	jdbc {
    		      # mysql 数据库链接,shop为数据库名
    		      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lico"
    		      # 用户名和密码
    		      jdbc_user => "root"
    		      jdbc_password => "123456"
    		      # 驱动
    		      jdbc_driver_library => "D:/elasticsearch/logstash-7.0.0/bin/mysqletc/mysql-connector-java-5.1.47.jar"
    		      # 驱动类名
    		      jdbc_driver_class => "com.mysql.jdbc.Driver"
    		      jdbc_paging_enabled => "true"
    		      jdbc_page_size => "50000"
    		      # 执行的sql 文件路径+名称
    		      statement_filepath => "D:/elasticsearch/logstash-7.0.0/bin/mysqletc/lico_admin_user.sql"
    		      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
    		      schedule => "* * * * *"
    		      # 索引类型
    		      type => "admin_user"
        	}
    	    jdbc {
    		      # mysql 数据库链接,shop为数据库名
    		      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lico"
    		      # 用户名和密码
    		      jdbc_user => "root"
    		      jdbc_password => "123456"
    		      # 驱动
    		      jdbc_driver_library => "D:/elasticsearch/logstash-7.0.0/bin/mysqletc/mysql-connector-java-5.1.47.jar"
    		      # 驱动类名
    		      jdbc_driver_class => "com.mysql.jdbc.Driver"
    		      jdbc_paging_enabled => "true"
    		      jdbc_page_size => "50000"
    		      # 执行的sql 文件路径+名称
    		      statement_filepath => "D:/elasticsearch/logstash-7.0.0/bin/mysqletc/lico_user.sql"
    		      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
    		      schedule => "* * * * *"
    		      # 索引类型
    		      type => "user"
    	    	}
      }
      filter {
    	    json {
    	        source => "message"
    	        remove_field => ["message"]
    	    }
       }
    	output {
    		if [type]=="admin_user"{
    		    elasticsearch {
    		        hosts => ["localhost:9200"]
    		        index => "admin_user"
    		        document_id => "%{id}"
    		    }
    		}
    		if [type]=="user"{
    		    elasticsearch {
    		        hosts => ["localhost:9200"]
    		        index => "user"
    		        document_id => "%{id}"
    		    }
   	 	}
        	stdout {
          		codec => json_lines
           }
       }
   

   lico_user.sql示例

    SELECT 
    	* 
    FROM 
    	lico_user
   

3. 进入bin文件执行run_default.bat