1.简介
logstash是一款轻量级的日志搜索处理框架。可以方便的把分散的、多样化的日志搜集起来,并进行自定义处理,然后传输到指定位置。
2.安装与测试
在解压后的bin目录下执行cmd命令
logstash -e 'input { stdin { } } output { stdout {} }' // 不常用
logstash ‐f 相对路径 // -f 表明从文件中读取配置
2.1.使用logstash同步数据库
文件配置,新建文件夹如 mysqletc:
mysql.conf
input {
jdbc {
# mysql jdbc connection string to our backup databse
jdbc_connection_string => "jdbc:mysql://192.168.74.130:3306/tensquare_article?characterEncoding=UTF8"
# the user we wish to excute our statement as
jdbc_user => "root"
jdbc_password => "root"
# the path to our downloaded jdbc driver
jdbc_driver_library => "D:\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50"
#以下对应着要执行的sql的绝对路径。
#statement_filepath => ""
statement => "SELECT id,title,content,state FROM tb_article"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => "* * * * *"
}
}
output {
elasticsearch {
#ESIP地址与端口
hosts => "127.0.0.1:9200"
#ES索引名称(自己定义的)
index => "tensquare_article"
#自增ID编号 取statement中的id
document_id => "%{id}"
document_type => "doc_name"
}
stdout {
#以JSON格式输出
codec => json_lines
}
}
2.2. 在logstash的bin目录下执行cmd读取配置
logstash -f ../mysqletc/mysql.conf
间隔每分钟会执行sql,读取数据库