数据流传输过程描述:
使用Java程序,读取本地的.csv文件;
发送给集群中的Kafka;
Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;
ES对数据进行检索。
问题一:
Filter会对Logstash处理数据的速度产生影响。
如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。
问题二:
节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。
问题三:
Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。
问题四:
Logstash启动问题
Logstash的filter中加上新设定的字段,方便ES进行检