elastic stack
文章平均质量分 74
ELK+redis 日志分析平台
兔子Yabi
一花一世界,佛系coding
展开
-
ELK日志分析平台-记录实际应用中碰到的问题
1、为什么@timestamp字段在终端的显示与在Kibana上的显示不一致?原因:对于Elasticsearch内部,时间字段统一采用UTC时间进行管理,这也是运维领域的一个通识;解决方案:但Kibana会读取浏览器的当前时区,然后在页面上转换时间字段的显示。建议接受这个设置。2、解析日志时,tags字段为什么会出现_grokparsefailure和_dateparsefailure?原因:若存在log内容与 grok/date插件中的match 语从句不匹配,logstash会自动在t原创 2020-08-05 20:59:49 · 764 阅读 · 0 评论 -
ELK日志分析平台之filebeat读取日志
1 软件环境说明本次安装部署所用的软件均为官网上目前的最新版本。操作系统软件Java环境windows 10logstash-6.2.4 jdk 1.8.0_171filebeat-6.3.01.2.2 Elasticsearch安装a. 解压tar包(tar -zxvf elasticsearch-6.2.4.tar.gz);b. 修改elastic...原创 2018-07-04 15:35:13 · 3092 阅读 · 0 评论 -
ELK日志分析平台之Redis安装常见错误
1.1.1 Make编译时提示权限不够解决方案: 对ELK执行用户进行赋权chown ELK(用户名称) redis-4.0.9 -R1.1.2 Make编译时提示cc:未找到命令解决方案:原因是系统中缺少gcc可以先查询一下是否存在:gcc–v,若提示未找到命令,则安装一下gcc yum -yinstall gcc automake autoconf li...原创 2018-06-25 15:40:34 · 186 阅读 · 0 评论 -
ELK日志分析平台之ElasticSearch安装常见错误
1.1.1 java.nio.file.AccessDeniedException:出现这个异常的原因是当前用户没权限解决方案:1) 通过命令将相关文件的权限赋予给ELK用户(也可以是其他用户名):chownELK /usr/local/elasticsearch -R 1.1.2 Elasticsearch启动时 unable to in...原创 2018-06-25 15:35:45 · 1102 阅读 · 0 评论 -
ELK日志分析平台之Logstash安装常见错误
1.1.1 Something is wrong with your configuration解决方案:这种问题为配置文件出现错误,需要仔细检查一下:1) 端口号应为number类型,是否加了双引号变成了string类型2) 每个区段的括号匹配是否一一对应3) 是否存在必要参数未进行配置1.1.2 启动服务...原创 2018-06-25 15:27:42 · 2774 阅读 · 0 评论 -
ELK日志分析平台之基础环境配置常见错误
1.1.1 启动Logstash,找不到或者无法加载主类解决方案:1) 根据提示,可以看到Program Files 这个文件夹被分成了两部分,是因为Program Files 中间有个空格,而启动路径不允许有空格,换个没空格的路径就OK啦2) 若不是第一种的情况,可以试一下在classpath(path同理)的最前面要加一个本目录路径,用【....原创 2018-06-25 15:17:48 · 366 阅读 · 0 评论 -
ELK日志分析平台之Logstash
1.1.1 基本概念Logstash是一个开源的数据收集引擎,它具备实时数据传输能力,可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。1.1.2 组成结构Logstash 通过管道进行运作,管道有两个必需的元素,输入和输出,还有一个可选的元素,过滤器。输入插件从数据源获取数据,过滤器插件根据用户指定的数据格式修改数据,输出插件则将数据写入到目...原创 2018-06-25 11:39:05 · 244 阅读 · 0 评论 -
ELK日志分析平台之helloworld
1.1 软件环境说明本次安装部署所用的软件均为官网上目前的最新版本。操作系统 软件 Java环境 Centos 7 (服务器) logstash-6.2.4 .tar.gz openjdk 1.8.0_161 elasticsearch-6.2.4.tar.gz kibana-6.2.4-linux-x86_64.tar.gz redis-4.0.9.tar.gz Windows 7...原创 2018-06-22 17:17:40 · 304 阅读 · 0 评论 -
logstash解析日志-multiline多行日志解析示例
Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec来自Coder/decoder 两个单词的首字母缩写)。在此之前,logstash 只支持纯文本形式输入,然后以过滤器处理它。但现在,我们可以在输入期处理不同类型的数据,这全是因为有了 codec 设置。所以,这里需要纠正之前的一个概念。Logstash 不只是一个input | filter | output...原创 2020-07-20 18:01:49 · 2400 阅读 · 4 评论