1.下载安装包:(下载是请注意,logstash的版本最好与elasticsearch一直)
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz
2.解压并移动到 local 目录下
tar -zxvf logstash-6.2.4.tar.gz
mv logstash-6.2.4 /home/logstash/logstash-6.2.4
3.下载mysql-connector-java-5.1.46.jar包,这个自己自行去官网下载上传到config文件下或者自己另起文件夹也可以
4.创建.conf配置文件,文件名自己定义
4.1 进入config目录下
cd config
4.2创建文件
vim 文件.conf
4.3编写.conf文件内容
input {
stdin { }
jdbc {
jdbc_connection_string => "jdbc:mysql://IP地址:3306/数据库名"
jdbc_user => "账号"
jdbc_password => "密码"
//jar包存放的位置
jdbc_driver_library => "/home/logstash/logstash-6.2.4/config/mysql-connector-java-5.1.46.jar"
//mysql直接写这个就可以
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
//sql语句 也有是运行文件的 但是参数不是这个
statement => "SELECT * FROM task_user"
}
}
output {
stdout {
codec => json_lines
}
elasticsearch {
hosts => "ES的IP地址:端口号"
index => "索引"
document_type => "user"
document_id => "%{id}"
}
}
5.返回根目录启动logstash
cd ..
bin/logstash -f config/文件名.conf
(这里我的.conf是放在config下 所有是config/.conf 这个根据你存放在哪就写哪 不要照着抄)
结果如下:
注:如果中途遇到什么错误,请先用ps -ef|grep logstash查看是否存在logstash进程,存在先kill后运行,另外yml设置文件里面的东西第一次使用先不要改动