ELK
关注
分享
扫一扫
日常运维中我们面临的问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。ELK是一套主流的日志系统，可以高效的满足了很多场合的应用。
五道杠好青年
这个作者很懒，什么都没留下…
展开
-
Linux下cronolog安装配置 --解决catalina.out日志过大的问题
使用cronolog对catalina.out进行日志分割背景介绍默认情况下，tomcat的catalina.out日志文件是没有像其它日志一样，按日期进行分割，而是全部输出全部写入到一个catalina.out，这样日积月累就会造成.out日志越来越大，给管理造成了不便，为了实现像其它日志文件一样按日期归档，这里我们采用cronolog来完成日志分割。解决:通过cronolog来原创 2018-01-30 22:23:53 · 725 阅读 · 0 评论 -
MDC实现日志跟踪
使用MDC标注日志上下文背景最近在研究ELK,想通过ELK来统一管理日志，并简单分析系统的一些功能，比如：机构下的交易量，交易成功/失败的比例，单位时间内某种交易的笔数，访问系统前50IP……,但是苦于无法建立统一的分析标准，无法实施，想法是把一些业务参数打印到日志中，进行分析统计。简介 MDC（Mapped Diagnostic Context，映射调试上下文）是 lo...原创 2018-04-17 18:18:38 · 5391 阅读 · 0 评论 -
Elasticsearch安装及使用
Elasticsearch简介Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。...原创 2018-05-02 16:54:51 · 310 阅读 · 0 评论 -
Kibana安装及使用
Kibana简介Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana安装准备包kibana-6.2.1-linux-x86_64.tar.gz，上传服务器，解压...原创 2018-05-02 17:04:43 · 959 阅读 · 0 评论 -
Logstash安装及使用
Logstash简介Logstash是一个开源的，服务端的数据处理管道，用来同时地从大量的数据源收集数据，转换数据，然后将数据发送到你最喜欢的存储地方，我们通常选择Elasticsearchlogstash安装及测试下载包logstash-6.2.1.tar.gz,上传服务器，解压cd /usr/local/elk上传logstash-6.2.1.tar.gz...原创 2018-05-02 17:07:06 · 3524 阅读 · 0 评论 -
Filebeat安装及使用
Filebeat简介Filebeat由两个主要组成部分组成：prospector(探勘者)和 harvesters(矿车)。这些组件一起工作来读取文件并将事件数据发送到指定的output。 prospector: 负责找到所有需要进行读取的数据源harvesters：负责读取单个文件的内容，并将内容发送到output中，负责文件的打开和关闭。Filebeat工作原理Fil...原创 2018-05-02 17:13:53 · 31194 阅读 · 0 评论 -
Metricbeat安装及使用
metricbeat简介Metricbeat可以定期收集操作系统和服务器的运行指标（CPU，内存，硬盘，IO,读写速度，进程等等），Metricbeat可以将收集到的指标和数据发送到你指定的输出，比如：elasticsearch，最终达成监视服务器的目标。metricbeat安装下载metricbeat rpm包,安装：下载：curl -L -O https:/...原创 2018-05-04 09:47:09 · 15268 阅读 · 2 评论 -
Sentinl插件安装及使用
Sentinl插件安装及使用简介sentinl是一个免费的kibana监控预警与报告插件，与付费软件X-Pack功能类似。 可以实现监控并发报警邮件下载地址https://github.com/sirensolutions/sentinl/releases（注意下载的版本一定要和kibana版本一致）sentinl安装cd /usr/local/elk...原创 2018-05-04 09:50:09 · 7617 阅读 · 5 评论 -
Kibana采用nginx做登陆认证
Kibana采用nginx做登陆认证背景kibana默认是没有用户名密码的，想用官方的认证，x-pack,收费的方案：用nginx的代理功能做登陆认证安装nginx（略）安装Apache密码生产工具: yum install httpd-tools生成密码文件：mkdir -p /usr/local/test/passwdcd /usr/local/t...原创 2018-05-04 09:52:31 · 3409 阅读 · 0 评论 -
x-pack破解及安装
x-pack破解及安装背景X-Pack是一个Elastic Stack的扩展，将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中，使用是收费的，本地自己搭建elk的话，可以使用破解的x-pack试用期一个月，license会过期导致无法登陆（或者你可以选择无密码登陆)目标主要是替换x-pack-5.0.0.zip包中的LicenseVerifier.cl...原创 2018-05-04 09:56:02 · 3958 阅读 · 1 评论 -
logstash-filter-multiline安装及使用
logstash-filter-multiline简介logstash-filter-multiline是logstash的一个插件。功能：多行日志，根据匹配规则，进行合并。 比如：ERROR日志其实是很多行表达一个意思，此时我们需要将多行日志进行合并收集 - 使用：logstash-filter-multiline-3.0.2.zip（下载logstash-filter-...原创 2018-05-04 10:05:16 · 3352 阅读 · 0 评论 -
Grok正则
Grok正则简介日志源提供的日志格式可能并不是我们想要插入存储介质里的格式，Logstash里提供了一系列的filter来让我们转换日志。Grok就是这些filters里最重要的一个插件，（==简单来说就是过滤日志数据==）。而且后期你还会使用Grok正则里定义的field来进行相关指标的分析。语法解释：%{TIMESTAMP_ISO8601:time},代表时间戳%{LO...原创 2018-05-04 10:06:11 · 4105 阅读 · 0 评论 -
es watcher插件安装及使用
es watcher插件安装及使用简介watcher是一个用于elasticsearch的插件，它可以根据数据的变化提供警报和通知安装从5.0版本之后，watcher就成为了x-pack的一部分，也就是说安装了x-pack,watcher就已经安装了。使用验证watcher是否启动： curl --user elastic:changeme ...原创 2018-05-04 10:08:27 · 3327 阅读 · 0 评论 -
elasticsearch-head插件安装及使用
简介elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。elasticsearch-head是Elasticsearch的图形化界面，方便用户对数据进行增删改查，基于REST的四种方式进行数据交互。功能es-head主要有三个方面的操作：显示集群的拓扑,并且能够执行索引和节点级别操作搜索接口能够查询集群中原始json或表格格式...原创 2018-05-04 10:09:37 · 9943 阅读 · 1 评论