Logstash 导入数据到ES所遇到的问题和经验

本文总结了Logstash在导入数据到Elasticsearch时遇到的挑战,包括中文乱码设置、导入停滞的解决、Logstash的性能限制、文件监听机制及其名称来源。还提及了在CentOS6上部署Elastic7.13.2时的报错及解决方案——升级到CentOS7。
摘要由CSDN通过智能技术生成

Logstash 导入数据到Elastic所遇到的问题和经验,整理如下:

1、导入中文乱码,需要在配置文件中,增加编码指定,具体可以参考:

input {
  file {
    path => "F:/logstash-data-movie-latest/ml-latest/jsonResult.csv"
    start_position => "beginning"
    sincedb_path => "F:/logstash-data-movie-latest/ml-latest/jsonResult.stash.log"
	codec => plain { charset => "UTF-8"}
  }
  beats {
    port => 5044
  }
}

2、导入数据没有反应:

可能是上次导入数据后,已经生成了xxxx.stash.log 文件,需要将该文件删除后,才会再次导入。

3、Logstash 的限制:

logstash缺点是没有提供java或者c的开放接口,只能人工操作,而且对机器的性能要求较高,机器性能影响elasticsearch数据的导入速度。

4、在实操时,发现logstash通过指定的文件导入了数据之后,如果该文件发生了改变,即手动向该文件中写入了数据,那么logstash会重新加载该文件。

这个应该就是logstash名称的由来,以及其核心之处。

名称由来:生产环境的log本就是时刻更新,logstash可以动态的监听文件的变化,并将之写入到

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值