《十次方》项目小札-5-logstash

1.简介

logstash是一款轻量级的日志搜索处理框架。可以方便的把分散的、多样化的日志搜集起来,并进行自定义处理,然后传输到指定位置。

2.安装与测试

在解压后的bin目录下执行cmd命令

logstash -e 'input { stdin { } } output { stdout {} }' // 不常用
logstash ‐f 相对路径 // -f 表明从文件中读取配置
2.1.使用logstash同步数据库

文件配置,新建文件夹如 mysqletc:
在这里插入图片描述
mysql.conf

input {
  jdbc {
	  # mysql jdbc connection string to our backup databse
	  jdbc_connection_string => "jdbc:mysql://192.168.74.130:3306/tensquare_article?characterEncoding=UTF8"
	  # the user we wish to excute our statement as
	  jdbc_user => "root"
	  jdbc_password => "root"
	  # the path to our downloaded jdbc driver  
	  jdbc_driver_library => "D:\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
	  # the name of the driver class for mysql
	  jdbc_driver_class => "com.mysql.jdbc.Driver"
	  jdbc_paging_enabled => "true"
	  jdbc_page_size => "50"
	  #以下对应着要执行的sql的绝对路径。
	  #statement_filepath => ""
	  statement => "SELECT id,title,content,state FROM tb_article"
	  #定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
      schedule => "* * * * *"
  }
}

output {
  elasticsearch {
	  #ESIP地址与端口
	  hosts => "127.0.0.1:9200" 
	  #ES索引名称(自己定义的)
	  index => "tensquare_article"
	  #自增ID编号 取statement中的id
	  document_id => "%{id}"
	  document_type => "doc_name"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}


在这里插入图片描述

2.2. 在logstash的bin目录下执行cmd读取配置
logstash -f ../mysqletc/mysql.conf

间隔每分钟会执行sql,读取数据库
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值