ELK
文章平均质量分 73
elkkkkkkkkkkkkkkkk
富士康质检员张全蛋
人生实难,唯有自渡。只有接受了真实现的现状和真实的自己,调整好心态,才能脚踏实地的活着,然后去发现角落处的那些惊喜和美好,去相信一切苦难困境都会过去!“即使身处阴沟,也要记得仰望星空”。
展开
-
ES证书过期替换方案
1.批量下发证书,从各个节点日志可以看出,证书已更新2.集群中的某个节点,重启时,如果自己的证书和其他节点不一致,可以启动但是无法被其他节点识别,无法加入集群直接替换证书,自动就被其他节点识别到,然后节点正常加入集群3.查询命令:查询证书过期验证证书是否有效。原创 2024-07-13 17:07:57 · 2501 阅读 · 0 评论 -
【无标题】
在所有node节点下,在 /etc/elasticsearch 目录中创建 certs 文件夹将elastic-certificates.p12 文件拷贝到certs 目录下(注:是所有的node节点对应的/etc/elasticsearch/certs)此时,我们还不知道密码是多少,之前都是一路回车的。访问:Kibana,查看认证情况:需要先编辑Kinaba的配置文件(),设置elasticsearch的密码后,重启kibana。如下,按照提示,依次输入和确认密码即可。进入bin目录,执行。原创 2024-07-13 15:23:23 · 1604 阅读 · 0 评论 -
ElasticSearch 可视化工具之cerebro
最近ElasticSearch使用中出现好多异常情况,一直都是命令行直接排查问题,不够直观。网络上大部分都推荐Kopf,Bigdesk,但是都已经是过时的工具,多年都没有更新了。使用curl等客户端工具即可通过Restful API对Elasticsearch进行操作,但也有一些客户端工具提供对于ElasticSearch更加友好的可视化操作支持,比如cerebro。这篇文章介绍一下如何使用cerebro对Elasticsearch7.3.0版本进行操作。...转载 2021-02-20 11:11:54 · 2975 阅读 · 0 评论 -
Elasticsearch 7.x 简要介绍与集群搭建
需求背景 需求背景: • 业务发展越来越庞大,服务器越来越多 • 各种访问日志、应用日志、错误日志量越来越多 • 开发人员排查问题,需要到服务器上查日志,效率低、权限不好控制 • 运维需实时关注业务访问情况ELK 介绍 ELK 是三个开源软件的缩写,提供一套完整的企业级日志平台解决方案。 分别是: Elasticsearch:搜索、分析和存储数据 Logstash :采集日志、格式化、过滤,最后将数据推送到Elasticsearch存储 ...原创 2020-12-09 21:27:26 · 608 阅读 · 0 评论 -
Elastic安装后 postman对elasticsearch进行测试
/id 字段自增id//good_sn 商品SKU//good_name 商品名称//good_introduction 商品简介//good_descript 商品详情"good":{"id":{"fields":{},"fields":{},"fields":{},"fields":{},"fields":{原创 2024-04-16 10:25:44 · 1151 阅读 · 0 评论 -
ElasticSearch 集群添加用户安全认证功能(设置访问密码)
在6.8之前免费版本并不包含安全认证功能,之后版本有开放一些基础认证功能;为了防止各种事故,一般都会设置es集群的访问密码;但是在我尝试设置访问密码的时候发现,设置访问密码的前提必须要设置集群证书,不然es启动报错。关于设置证书的作用,简单来说就是在集群内定各个es节点都必须持有相同的证书,如果某个es的恶意节点想加入你的集群,那么它也必须有要相同的证书,这就可以防止别人恶意创建节点加入你的集群了。本例子使用elasticsearchv7.2.0为例(1)生成 TLS 和身份验证。原创 2024-04-15 10:00:10 · 1650 阅读 · 0 评论 -
ElasticSearch 基本概念 索引、文档
索引 文档偏向于开发人员的视角,是一个逻辑上面的概念节点和分片呢偏向运维人员的视觉,偏向是物理的概念文档(Document)Elasticsearch 是面向文档的,文档是所有可搜索数据的最小单位 日志文件中的日志项 —本电影的具体信息/一张唱片的详细信息。 MP3 播放器里的一首歌 /一篇 PDF 文档中的具体内容文档会被序列化成 JSON格式,保存在 Elastlesearch 中JSON 对象由字段组成 每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进.原创 2021-02-19 09:12:58 · 609 阅读 · 1 评论 -
ELK 吃透Elasticsearch 堆内存
1、什么是堆内存?Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。在 Java 中,堆被划分成两个不同的区域: 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、 To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象,包括内存的分配以及回收。2、堆内存的作用是什么?在虚..转载 2021-01-14 10:52:08 · 1007 阅读 · 0 评论 -
一篇文章搞懂Filebeat
本文使用的Filebeat是7.7.0的版本,文章将从如下几个方面说明: Filebeat是什么,可以用来干嘛 Filebeat的原理是怎样的,怎么构成的 Filebeat应该怎么玩 Filebeat是什么Filebeat和Beats的关系首先Filebeat是Beats中的一员。Beats在是一个轻量级日志采集器,其实Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、CPU、io等资源消耗比较高。...转载 2021-02-04 17:19:13 · 541 阅读 · 0 评论 -
ELK 日志采集增加数据缓冲队列 redis
ELFK架构优化思路在日志类的场景当中建议引入消息队列中间件作为缓冲层对数据进行缓冲(指标分析/日志分析),使用Redis作为消息队列,起到数据缓冲作用,也就是峰值处理能力Logfile ->filebeat阶段是不太可能丢数据的 Filebeat ->logstash 随着机器的增加,filebeat越来越多,logstash负载变大可能会丢失数据或者卡住(因为处理不过来),这样就可以增加数据的缓冲队列来进行去优化。 在filebeat和logstash之间加上可持久.原创 2021-01-20 11:30:34 · 465 阅读 · 0 评论 -
ELK Logstash性能故障排除
Performance TroubleshootingYou can use these troubleshooting tips to quickly diagnose and resolve Logstash performance problems. Advanced knowledge of pipeline internals is not required to understand this guide. However, thepipeline documentationis rec..翻译 2021-01-15 11:17:26 · 537 阅读 · 0 评论 -
ELK logstash配置示例
Logstash Configuration ExamplesThe following examples illustrate how you can configure Logstash to filter events, process Apache logs and syslog messages, and use conditionals to control what events are processed by a filter or output.If you need h.翻译 2021-01-14 11:56:37 · 424 阅读 · 0 评论 -
ELK kibana可视化图表和仪表盘
Kibana可视化和仪表盘Kibana可视化(Visualize):基于ES查询,通过一系列聚合来提取和处理数据,将结果进行图表展示。另外,在创建图表需选择一个索引模式。(先要创建索引,是基于哪个索引)比较常用图表:• 指标• 折线图• 饼图• 数据表指标指标根据单个进行统计,比如统计日志次数,统计指定时间内该索引模式下日志的次数,,这个不需要特殊的配置(在es当中一个文档就是一个记录)折线图也称为趋势图,这里需要添加x轴基于哪个...原创 2021-01-12 11:28:31 · 2509 阅读 · 0 评论 -
ELK logstash json对你的nginx进行解码
收集Nginx访问日志将Nginx访问日志格式改为JSONlog_format json '{ "@timestamp": "$time_iso8601", ''"remote_addr": "$remote_addr", ''"remote_user": "$remote_user", ''"body_bytes_sent": "$body_bytes_sent", ''"request_time": "$request_time", ''"status": "$status",原创 2021-01-07 11:53:49 · 426 阅读 · 0 评论 -
ELK Filebeat采集日志推送到Logstash
Filebeat介绍Filebeat是一个轻量级的日志采集器,将采集的数据推送到Logstash、ES存储。logstash是可以日志采集,但是资源消耗比较大,其主要功能是日志的过滤以及格式化的输出,也就是独立作为日志格式化输出的。使用filebeat是代替其采集功能,消耗的资源小,哪台机器需要日志采集就部署filebeat。filebeat.config.modules:filebeat里面内置了一些模块,这些模块可以对特定的软件进行采集,像nginx mysql这些可以使用其对应的原创 2021-01-05 11:03:09 · 5893 阅读 · 1 评论 -
ELK Logstash Introduction
Logstash IntroductionLogstash is an open source data collection engine with real-time pipelining capabilities. Logstash can dynamically unify data from disparate sources and normalize the data into destinations of your choice. Cleanse and democratize all翻译 2020-12-23 15:48:00 · 166 阅读 · 1 评论 -
ELK logstash是如何工作的?
How Logstash WorksThe Logstash event processing pipeline has three stages: inputs → filters → outputs. Inputs generate events, filters modify them, and outputs ship them elsewhere. Inputs and outputs support codecs that enable you to encode or decode the翻译 2021-01-05 11:53:42 · 214 阅读 · 0 评论 -
ELK 配置你的logstash
Structure of a Config FileA Logstash config file has a separate section for each type of plugin you want to add to the event processing pipeline. For example:# This is a comment. You should use comments to describe# parts of your configuration.input转载 2021-01-07 14:19:57 · 130 阅读 · 0 评论 -
ELK [译]你应该了解的5个 Logstash Filter 插件
原文:5 Logstash Filter Plugins You Need to Know About译者:neal1991welcome to star myarticles-translator, providing you advanced articles translation. Any suggestion, please issue or contactmeLICENSE:MITInELK, Logstash handles the resource-heav...转载 2020-12-08 10:01:36 · 389 阅读 · 0 评论 -
ELK Logstash 输入file插件
Logstash 介绍 Logstash能够将采集日志、格式化、过滤,最后将数据推送到Elasticsearch存储。 Input:输入,输入数据可以是Stdin、File、TCP、Redis、Syslog等。 Filter:过滤,将日志格式化。有丰富的过滤插件:Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等。 Output:输出,输出目标可以是Stdout、File、TCP、Redis、ES等输入插件(Input)输入阶段:从哪里获取日志,.原创 2020-12-10 21:32:15 · 484 阅读 · 0 评论 -
ELK logstash 过滤插件:JSON
Nginx 日志默认为普通文本的格式,例如,下面是 Nginx 的一行访问日志:10.88.122.105 - - [02/Dec/2017:09:15:04 +0800] "GET /js/pagination.js HTTP/1.1" 304 0 "http://10.88.105.20:8063/stockrecommand.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .原创 2020-12-16 12:13:11 · 883 阅读 · 0 评论 -
ELK logstash过滤插件Grok的使用
过滤插件:Grok如果业务项目都能够按照json格式输出的话那么处理起来会很容易,那么使用之前的json插件就可以快速解析为结构化的数据。但是有些日志的格式就不符合json格式也不能自定义,那么kv json插件就用不到的。Grok插件可以支持正则,能够从非结构化的日志当中提取出关键字段,负责将非结构化数据解析为结构化的数据,logstash默认支持了很多正则Grok插件:如果采集的日志格式是非结构化的,可以写正则表 达式提取,grok是正则表达式支持的实现。 常用字段: match 正则匹原创 2020-12-22 12:11:38 · 720 阅读 · 0 评论 -
ELK 过滤插件grok对nginx日志格式化
默认nginx的访问日志是没有格式的,日志格式如下log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';访问日志格式如下:要想结构化处理,..原创 2021-01-06 11:18:45 · 884 阅读 · 0 评论 -
ELK logstash 过滤插件:GeoIP
过滤插件:GeoIPDescriptionThe GeoIP filter adds information about the geographical location of IP addresses, based on data from the Maxmind GeoLite2 databases.GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址地理位置的信息。过滤插件:GeoIP(能够将日志当中的IP解析为具体的地理位置,这个必须要有数据.原创 2020-12-29 11:54:13 · 2231 阅读 · 0 评论 -
ELK logstash根据不同日志来源创建索引
条件判断操作符: 比较操作符:== ,!= , < , > , <= ,>= 正则匹配操作符:=~(匹配正则) ,!~(不匹配正则) 成员操作符:in(包含) , not in(不包含) 逻辑操作符:and(与),or(或), nand(非与) , xor(非或) 一元运算符:!(取反) ,()(复合表达式) ,!()(对复合表达式结果取反) 条件判断语句: if <表达式> { <语句> } el原创 2020-12-30 17:04:14 · 2549 阅读 · 0 评论 -
ELK logstash输出插件Elasticsearch
输出插件(Output)输出阶段:将处理完成的日志推送到远程数据库存储 常用插件: • file • ElasticsearchElasticsearchIf you plan to use the Kibana web interface to analyze data transformed by Logstash, use the Elasticsearch output plugin to get your data into Elasticsearch...转载 2020-12-28 11:44:00 · 1133 阅读 · 0 评论 -
ELK Logstash 自定义正则模式patterns_dir
[root@localhost ~]# cat /usr/local/logstash/conf.d/test.conf input { file { path => "/var/log/test.log" }}filter { grok { patterns_dir => "/opt/patterns" match => { "message" => "%{IPV4:client_ip} %{WORD:method} %{URIP...原创 2020-12-23 16:17:01 · 1535 阅读 · 2 评论 -
ELK filebeat收集java堆日志
收集Java堆栈日志一般来说日志的每一行就代表一个完整的请求nginx,但是有些日志是多行的java堆栈日志。多行日志代表了一个事务,如果让elk来处理会认为有四个文档一般应用记录的日志,每行表示一个事务,但有些日志是多行表示一个事务。例如,常见的Java堆栈日志:Exception in thread "main" java.lang.NullPointerException at com.example.myproject.Book.getTitle(Book.java原创 2021-01-18 10:42:34 · 1686 阅读 · 2 评论 -
ELK logstash KV过滤插件
过滤插件:通用配置字段add_field 如果过滤成功,添加一个字段到这个事件 add_tags 如果过滤成功,添加任意数量的标签到这个事件 remove_field 如果过滤成功,从这个事件移除任意字段 remove_tag 如果过滤成功,从这个事件移除任意标签DescriptionThis filter helps automatically parse messages (or specific event fields) which are of thefoo=b..原创 2020-12-21 11:56:00 · 1607 阅读 · 0 评论 -
ELK logstash json过滤器
DescriptionThis is a JSON parsing filter. It takes an existing field which contains JSON and expands it into an actual data structure within the Logstash event.这是一个JSON解析过滤器。它采用一个包含JSON的现有字段,并将其扩展为Logstash事件内的实际数据结构。By default, it will place the pa..翻译 2020-12-15 10:32:54 · 797 阅读 · 1 评论 -
ElasticHD: ElasticSearch Dashboard Application
ElasticHD 是一款 ElasticSearch的可视化应用。不依赖ES的插件安装,更便捷;导航栏直接填写对应的ES IP和端口就可以操作Es了。目前支持如下功能:ES Real time data search ES Dashboard data visualization ES Index Template (在线修改、查看、上传) ES Indices Index deletion and search SQL Converts to Elasticsearch DSL...转载 2020-12-14 11:51:16 · 648 阅读 · 0 评论 -
ELK Logstash Grok入门指南
A Beginner’s Guide to Logstash Grok(https://logz.io/blog/logstash-grok/)The ability to efficiently analyze and query the data being shipped into theELK Stackdepends on the information being readable. This means that as unstructured data is being inge...翻译 2020-12-09 09:44:30 · 715 阅读 · 0 评论