logstash从指定文件读取数据到Elasticsearch

1、logstash： 数据处理管道，同时从多个来源，采集数据、转换数据发送到存储库中。该博文主要介绍如何从指定文件读取数据到es中

 

第一步： logstash配置文件输入输出规则 logstash_FileDemo.conf

input {
	file{
		path => "E:/temp/*.csv"
		start_position => beginning
	}
 }  
  
filter {
	grok {
		patterns_dir => "patterns.txt"
		match =>{ "message" => "%{DATA:name},%{DATA:person_id},%{DATA:email},%{DATA:tel},%{DATA:adress},%{DATA:from}%{S}" }
		}
	mutate{
		remove_field => ["host","path","message","@timestamp","@version"]
}
}
  
output {  
	elasticsearch { hosts => localhost 
					index => "filedemo"
					document_type =>"filedemo"}
	
	stdout { codec => rubydebug } 
} 

2、创建patterns规则：patterns.txt文件添加如下内容

    S \s

3、输入文件：E:/temp/*.csv

4、启动：如果把1,2两步的配置文件放到logstash根目录的话，启动命令就是这样：

logstash.bat -f  logstash_FileDemo.conf

5、结果：