关闭

ELK学习8_ELK数据流传输过程_问题总结1

标签: ELKlogstash
1234人阅读 评论(0) 收藏 举报
分类:

数据流传输过程描述:

使用Java程序,读取本地的.csv文件;

发送给集群中的Kafka;

Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;

ES对数据进行检索。


问题一:

Filter会对Logstash处理数据的速度产生影响。

如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。


问题二:

节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。


问题三:

Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。


问题四:

Logstash启动问题

Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:

pattern %{ MYPATTERN:新定义的字段名} not defined

(已经解决)


问题五:

Logstash停止问题

Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:

SIGINT received.  Shutting down the pipeline. {:level=>:warn}

接下来是一堆红色信息,信息的开始部分是已发送数据的一条。

再使用“Ctrl”+“C”键,会报以下信息:

SIGINT received.  Terminating immediately. {:level=>:fata}

原因暂时未知。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

【Python爬虫8】Scrapy 爬虫框架

安装Scrapy 新建项目 1定义模型 2创建爬虫 3优化设置 4测试爬虫 5使用shell命令提取数据 6提取数据保存到文件中 7中断和恢复爬虫 使用Portia编写可视化爬虫 1安装 2标注 3优...
  • u014134180
  • u014134180
  • 2017-02-17 13:16
  • 3047

浅谈spark yarn模式的问题调试

spark运行的时候,有可能发生崩溃,而在spark console里面看到的堆栈,很可能不是发生问题的实际堆栈,这个时候需要看yarn日志来定位问题。     我在调试spark程序的时候,采用如下...
  • u012684933
  • u012684933
  • 2015-07-07 16:57
  • 11242

停止Redis服务需要注意的事

停止Redis服务需要注意的事:如果要正常停止Redis服务,可以通过pkill命令停止所有Redis服务或者使用kill -15 redis-pid停止某一个Redis服务。
  • limingjian
  • limingjian
  • 2015-02-11 16:17
  • 6239

ELK学习9_ELK数据流传输过程_问题总结2

目的:使用Java程序把一个.csv文件发送给Kafka,再发送给ELK 实验步骤:见以前的博客 遇到的问题: 一、 直接发送比较大的.csv文件,ELK接到的汉字内容是乱码的 发送比较小的...
  • wang_zhenwei
  • wang_zhenwei
  • 2015-12-13 19:06
  • 1061

ELK错误1_Kafka->Logstash->Elasticsearch过程,Elasticsearch报grokparsefailure错误

实验背景: Kafka->Logstash->Elasticsearch实验环境安装完成; Logstash的启动文件设置有过滤机制; Logstash启动文件: input { kafka {   ...
  • wang_zhenwei
  • wang_zhenwei
  • 2015-11-10 09:51
  • 3368

ELK学习1:搭建

最近一直都在学习ELK,尤其是在linux下搭建,从十一开始接触linux和ELK。学的真是一脸茫然 1:下载安装包 官网下载安装包 https://www.elastic.co/download...
  • READIgg
  • READIgg
  • 2016-10-23 11:44
  • 360

ELK学习资料

  • 2017-12-26 18:00
  • 17.01MB
  • 下载

elk实时日志分析平台部署搭建详细实现过程

1、ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系...
  • a5601564
  • a5601564
  • 2016-11-24 10:21
  • 2795

ELK实时日志分析平台部署搭建详细实现过程

原文地址:http://www.linuxidc.com/Linux/2016-09/135137.htm 1、ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄...
  • tanga842428
  • tanga842428
  • 2017-07-27 15:18
  • 1203

elk实时日志分析平台部署搭建详细实现过程:加上个人实践意见,及如何避坑

1、ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系...
  • a5601564
  • a5601564
  • 2017-01-23 13:40
  • 1408
    个人资料
    • 访问:646521次
    • 积分:8560
    • 等级:
    • 排名:第2667名
    • 原创:115篇
    • 转载:428篇
    • 译文:37篇
    • 评论:35条
    文章分类