关闭

ELK学习8_ELK数据流传输过程_问题总结1

标签: ELKlogstash
1107人阅读 评论(0) 收藏 举报
分类:

数据流传输过程描述:

使用Java程序,读取本地的.csv文件;

发送给集群中的Kafka;

Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;

ES对数据进行检索。


问题一:

Filter会对Logstash处理数据的速度产生影响。

如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。


问题二:

节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。


问题三:

Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。


问题四:

Logstash启动问题

Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:

pattern %{ MYPATTERN:新定义的字段名} not defined

(已经解决)


问题五:

Logstash停止问题

Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:

SIGINT received.  Shutting down the pipeline. {:level=>:warn}

接下来是一堆红色信息,信息的开始部分是已发送数据的一条。

再使用“Ctrl”+“C”键,会报以下信息:

SIGINT received.  Terminating immediately. {:level=>:fata}

原因暂时未知。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:539779次
    • 积分:7542
    • 等级:
    • 排名:第3169名
    • 原创:115篇
    • 转载:414篇
    • 译文:37篇
    • 评论:30条
    文章分类