ELK学习8_ELK数据流传输过程_问题总结1

原创 2015年11月17日 23:52:26

数据流传输过程描述:

使用Java程序,读取本地的.csv文件;

发送给集群中的Kafka;

Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;

ES对数据进行检索。


问题一:

Filter会对Logstash处理数据的速度产生影响。

如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。


问题二:

节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。


问题三:

Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。


问题四:

Logstash启动问题

Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:

pattern %{ MYPATTERN:新定义的字段名} not defined

(已经解决)


问题五:

Logstash停止问题

Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:

SIGINT received.  Shutting down the pipeline. {:level=>:warn}

接下来是一堆红色信息,信息的开始部分是已发送数据的一条。

再使用“Ctrl”+“C”键,会报以下信息:

SIGINT received.  Terminating immediately. {:level=>:fata}

原因暂时未知。

版权声明: 举报

相关文章推荐

Logstash使用详解

在做个性搜索的事情,准备使用Logstash+elasticsearch的方式来存储用户的行为数据,看到这个篇博文写的非常好,转载过来! 原文地址:http://www.cnblogs.com/xin...

ELK多种架构及优劣

圈子里关于大数据、云计算相关文章和讨论是越来越多,愈演愈烈。行业内企业也争前恐后,群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出,任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器,达到抛...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

ELK学习9_ELK数据流传输过程_问题总结2

目的:使用Java程序把一个.csv文件发送给Kafka,再发送给ELK 实验步骤:见以前的博客 遇到的问题: 一、 直接发送比较大的.csv文件,ELK接到的汉字内容是乱码的 发送比较小的...

DMA数据传输过程

一.DMA方式特点:   1、 外部设备的输入输出请求直接发给主储存器。   主存储器既可以被CPU访问,也可以被外围设备访问。因此,在主存储器中通常要有一个存储管理部件来为各种访问主存储器的申请...

AllJoyn数据传输过程

一、概述 AllJoyn提供Methods,signals,properties作为接口成员,AllJoyn APP可以使用这些接口成员来实现数据交换。应用之间交换数据必须建立AllJoun Ses...

HTML学习总结1

标题标记,N取值1~6,h1最大,显示黑体并自动插入空行。 属性:align 默认left 可选 center,right 称为段落标记。作用:为字、画、表格等之间留一空白行属性:align 称为换...

无法远程,提示“你的凭据不工作”

电脑远程的时候,提示如下信息。很是费解!    试了各种方法,包括:组策略编辑器设置身份验证、添加Windows用户凭证、输入“服务器计算机名”+“\”+“用户名 ”,都不行!    终于,功...

MDK-ARM编译器V6和V5

最新版本的ARM开发工具MDK5.23包括有v6.6 和 V5.06 update4两个ARM Compiler, 官方资料表明 ,V5版本的编译器已经停止开发,后期只进行维护,而V6版本编译器编译速...
  • Qi_ta
  • Qi_ta
  • 2017-06-05 22:41
  • 316

Android常见问题

1.问题描述: Listview中adapter的刷新(notifyDataSetChanged())数据突然消失问题. 解决方法: 我们的adapter中的一个List参数,而在调...

学习大数据过程中遇到的问题1

首先说明下学习过程中所用到的系统及软件的版本: ubuntu16.04 jkd1.8.0_131 hadoop2.7.3 hbase1.2.5 如果在ubuntu14.04上配置hadoop...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)