ES用logstash批量导入csv数据

最新推荐文章于 2023-10-24 10:57:32 发布

Chase、ing

最新推荐文章于 2023-10-24 10:57:32 发布

阅读量2.5k

点赞数 2

文章标签： elasticsearch

本文链接：https://blog.csdn.net/weixin_44665501/article/details/116234936

版权

本文介绍了如何使用Logstash 6.2.4将CSV数据批量导入到Elasticsearch。首先，需要确保Logstash和Elasticsearch版本匹配。接着，在Logstash的bin目录下创建conf文件夹和csv.conf配置文件，配置文件中应注意CSV文件的格式要求，如第一行不包含字段名，最后一行需要换行。然后，通过运行`logstash -f logstash.conf`启动Logstash。如果CSV文件被修改，Logstash会自动更新数据；若需重新导入，需删除相应文件并重启Logstash。

摘要由CSDN通过智能技术生成

logstash和es的版本要一致，这里使用6.2.4

一、在logstash的bin目录下创建conf文件夹再创建csv.conf文件：

input {
   
  file {
   
    path => ["C:\Users\Desktop\test.csv"]  
    start_position => "beginning"
  }
}
filter {
   
  csv {
   
    separator => ","
    columns => ["name","age"]
  }
  mutate {
   
    convert => {
   
      "name" => "string"
      "age" => "integer"
    }
  }
 }

output {
   
  elasticsearch {
   
        hosts => ["127.0.0.1:9200"]
        index => "test2"
		document_type