elk
snail_bi
这个作者很懒,什么都没留下…
展开
-
kafka broker与kafka client适配关系
摘录自:https://cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix Broker 0.10.1 Basic client compatibility: Java: any version KIP-35 enabled clients: any version ...原创 2020-03-19 12:25:56 · 1237 阅读 · 0 评论 -
kafka client各个版本与spring kafka的兼容关系
较新版本对应较早本对应:https://blog.csdn.net/lzx1991610/article/details/100777040原创 2020-03-19 10:47:14 · 7069 阅读 · 0 评论 -
Kibana6 入门4 - 数据可视化
原文:https://www.jianshu.com/p/f22d869c1fb4在左侧导航栏选择Visualize,进行数据可视化操作。Visualize功能可以多种纬度展示数据。例如,使用饼图来显示银行账户数据集合中的账户余额信息。点击 屏幕中央的Create a visualization按钮。image.png选择Pie。images/tutorial-...原创 2020-01-15 19:31:34 · 544 阅读 · 0 评论 -
kibana---timelion
Timelion入门源文:https://segmentfault.com/a/1190000016679290Timelion使你可以轻松获得以下问题的答案:随着时间的推移,每个唯一的用户会查看多少个页面? 这个星期五和上周五之间的交通量有什么不同? 今天有多少日本人口来到我的网站? 标准普尔500指数的10日均线是多少? 过去两年收到的所有搜索请求的累计总和是多少?创建...原创 2019-12-23 21:39:13 · 781 阅读 · 0 评论 -
Kibana多用户创建及角色权限控制
1 介绍ELK日志管理属于基础设施平台,接入多个应用系统是正常现象,如果接入多个系统的索引文件没有进行权限划分,那么很大程度会出现索引文件误处理现象,为了避免这种情况发生,多用户及权限设置必不可少。通过Filebeat采集应用日志,发送到redis(或者kafka),通过在filebeat.yml中设置fields.log_type属性来确定是哪个应用生成的日志文件,然后在logstash...原创 2019-12-13 17:53:53 · 3377 阅读 · 0 评论 -
logback pattern配置及详解
<encoder>:负责两件事:一是把日志信息转换成字节数组,二是把字节数组写入到输出流。目前PatternLayoutEncoder是唯一有用的且默认的encoder,有一个<pattern>节点,用来设置日志的输入格式。使用“%”加“转换符”方式,如果要输出“%”,则必须用“\”对“\%”进行转义。例如:Xml代码<encoder&...原创 2019-12-11 17:39:38 · 31483 阅读 · 1 评论 -
Filebeat的配置参考
指定要运行的模块 前提: 在运行Filebeat模块之前,需要安装并配置Elastic堆栈: 安装Ingest Node GeoIP和User Agent插件。这些插件需要捕获示例仪表板中可用的某些可视化所使用的地理位置和浏览器信息。您可以通过在Elasticsearch主路径中运行以下命令来安装这些插件: sudo bin/e...原创 2019-12-10 21:01:18 · 2791 阅读 · 0 评论 -
zkCli.sh zk客户端
通过zkCli.sh连接zookeeper服务连接本机zookeeper服务,执行:./zkCli.sh连接远程zookeeper服务,跟上参数:./zkCli.sh -server ip:port查看所有目录: ls /查看具体目录下的内容: ls /elk_log在命令行输入:help查看命令列表[zk: localhost:2181(CONN...原创 2019-12-09 18:16:54 · 278 阅读 · 0 评论 -
grok语法定义
grok语法定义grok默认表达式Logstash 内置了120种默认表达式,可以查看patterns,里面对表达式做了分组,每个文件为一组,文件内部有对应的表达式模式。下面只是部分常用的。常用表达式 表达式标识 名称 详情 匹配例子 USERNAME 或 USER 用...原创 2019-11-25 20:16:41 · 2801 阅读 · 0 评论 -
GROK函数
https://help.aliyun.com/document_detail/125480.htmlGROK函数更新时间:2019-09-16 16:44:28编辑我的收藏本文档主要介绍GROK函数的语法规则,包括参数解释、函数示例等。由于正则表达式较为复杂,推荐您优先使用GROK函数。说明您也可以将GROK函数与正则表达式函数混合使用,例如:# 会匹配 abc: 1...原创 2019-11-25 20:15:56 · 717 阅读 · 0 评论 -
logstash过滤器插件filter详解
1、logstash过滤器插件filter1.1、grok正则捕获grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据弄成结构化和方便查询的结构。他是目前logstash 中解析非结构化日志数据最好的方式grok的语法规则是:%{语法:语义}“语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字,IP模式则会匹...原创 2019-11-19 17:19:39 · 681 阅读 · 0 评论 -
logstash output插件
一),标准输出 和之前inputs/stdin插件一样,outputs/stdout插件也是最基础和简单的输出插件。同样在这里简单介绍一下,作为输出插件的一个共性了解配置事例:output { stdout { codec => rubydebug workers => 2 }}==等同于output...原创 2019-11-19 16:59:21 · 316 阅读 · 0 评论 -
logstash语法 结构
配置结构以及插件位置输入插件:input{ … }过滤插件:filter{ … }输出插件:output{ … }数据类型- Arrayusers => [{id => 1,name => N1},{id => 2,name => N2}]- listspath => ["/var/log/messages","/var...原创 2019-11-19 16:55:06 · 296 阅读 · 0 评论 -
ELK原理
为什么用到ELK:一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。一般大型系统是一个分布式部署的架构,不同的服务模...原创 2019-11-15 15:32:04 · 126 阅读 · 0 评论