ELK日志收集分析工具解析

最新推荐文章于 2024-05-11 06:39:44 发布
最新推荐文章于 2024-05-11 06:39:44 发布
阅读量593 收藏 1
点赞数
分类专栏： elk Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1308422754/article/details/107916684
版权
Linux 同时被 2 个专栏收录
17 篇文章 0 订阅
订阅专栏
elk
2 篇文章 0 订阅
订阅专栏

文章目录

1、工作当中日志的重要性
1、分析日志来判断系统运行的状态是否正常
2、分析日志来判断程序是否有bug存在
3、分析日志来监控web服务器的流量，页面的响应时间超过1s
4、分析日志来优化数据库的慢查询语句
5、根据用户访问情况针对业务侧进行不断完善
。。。。
2、日志收集的工具有那些
1、日志易（收费）
2、splunk（国外的软件，按流量收费）
3、elk/efk工具
elasticsearch+logstash+kibana  elk
elasticsearch+filebeat+kibana  efk
4、Solr
Solr与es的对比与选型

在底层应用都是属于Lucene，在应用范围上包括淘宝电商、百度、github等，
Solr是Apach基金会下的一个顶级的开源项目,采用java开发,他是基于Lucene的全文搜索服务器,Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置,可拓展,并对索引进行了优化
Solr可以独立运行，运行在etty、Tomcat等这些Servlet容器中，Solr索引的实现方法很简单，用POST方法向Solr服务器发送一个描述Field及其内容的XML文档，Solr根据xml文档添加、删除、更新索引。 Solr搜索只需要发送HTTP GET请求，然后对Solr返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。
Solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene。
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的APl接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引;也可以通过提出查找请求，并得到返回结果。

索引速度：
如果单纯对已有数据进行搜索solr更快，
在这里插入图片描述
致命弱点： 实时建立索引会产生io阻塞，查询性能是es的1/5

在这里插入图片描述

随着数据量加大 Solr的搜索速度越来越低
在这里插入图片描述

ElasticSearch vs Solr总结

1、es基本是开箱即用(解压就可以用!) ,非常简单。Solr安装略微复杂一丢丢!
2、Solr 利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。
3、Solr 支持更多格式的数据，比如JSON、XML、 CSV ,而Elasticsearch仅支持json文件格式。
4、Solr 官方提供的功能更多,而Elasticsearch本身更注重于核心功能,高级功能多有第三方插件提供,例如图形化界面需要kibana友好支撑
5、Solr 查询快,但更新索引时慢(即插入删除慢) , 用于电商等查询多的应用;
●ES建立索引快(即查询慢)，即实时性查询快，用于facebook新浪等搜索。
●Solr 是传统搜索应用的有力解决方案,但Elasticsearch 更适用于新兴的实时搜索应用。
6、Solr比较成熟，有一个更大,更成熟的用户、开发和贡献者社区，Elasticsearch相对开发维护者较少,更新太快,学习使用成本较高。

3、elk简单介绍
1、elasticsearch 端口号：9200 9300
   非关系型的数据库
   功能：存储数据，分析数据，搜索数据
   发展史：使用java语言，在luncen的基础上做二次封装，提供restful接口
   搜索的原理：倒排索引
   特点：水平扩展方便、提供高可用、分布式存储、使用简单
2、logstash/filebeat
   logstash功能：收集日志，中转站
   filebeat功能：专门收集日志
3、kibana 端口号： 5601
   功能：做数据的展示（图形、饼状图、表格、浮动云图形）
4、倒排查询原理
1、把信息存储es数据库，分成一个一个的词语
2、根据搜索的内容，进行匹配，匹配上的语句权重加一
3、把匹配到的内存，推送给用户
5、数据的分类
1、关系型的数据库
   mysql 、oracle 、sql-server。。
2、非关系型的数据库
   es、redis、mongodb

关系的定义:
关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

  1. 性能
    NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。
  2. 可扩展性
    同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。
6、es用户场景
1、电商平台
2、高亮显示
3、数据的分析（elk）
Elasticsearch简介

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化。

Elasticsearch 是基于 Apache Lucene 的。

Elasticsearch 因其简单的 REST API、分布式特性、可塑、可扩展而闻名。

Elasticsearch 是 Elastic 产品栈的核心，Elastic 产品栈是个开源工具集合，用于数据接收、存储、分析、可视化

  • 文档搜索结合ElasticSearch高亮显示,输入实时搜索(search-asyour-type)和纠错(did-you-main)显示
  • 英国卫报结合ElasticSearch结合用户日志和社交网络数据给用户实时反馈
  • Github使用ElasticSearch检索1300亿行代码
7、部署es的方法
1、源码的方式：
      特点：安装之后的路径统一，需要手动写启动脚本
2、rpm的方式：
     特点：安装之后路径分散，不需要手动写启动脚本
3、docker的方式：
     特点：会使用docker，专人来维护

部署es的流程

1、安装jdk环境
mkdir /opt/es-software
cd /opt/es-software
rpm -ivh jdk-8u102-linux-x64.rpm
java -version
2、安装elasticsearch
rpm -ivh elasticsearch-6.6.0.rpm
rpm -qc elasticsearch
3、简单介绍安装后的文件的作用
/etc/elasticsearch/elasticsearch.yml#es的主要配置文件
/etc/elasticsearch/jvm.options      #配置jvm虚拟机的内存信息
/etc/sysconfig/elasticsearch        #配置相关系统变量
/usr/lib/sysctl.d/elasticsearch.conf#配置相关系统变量
/usr/lib/systemd/system/elasticsearch.service#es的服务程序
4、修改es的主配置文件
[root@es01 elasticsearch]# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml 
23:node.name: gaoxu01
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
43:bootstrap.memory_lock: true
network.host: 10.0.0.240
http.port: 9200
5、服务启动后有报错

tail  -f  /var/log/elasticsearch/elasticsearch.log

[2020-04-08T13:29:53,773][ERROR][o.e.b.Bootstrap          ] [gaoxu01] node validation exception
[1] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is not locked
#解决方法
官网地址: https://www.elastic.co/guide/en/elasticsearch/reference/6.6/index.html  memory_lock_check
systemctl edit elasticsearch

[Service]
LimitMEMLOCK=infinity
#重新载入
systemctl daemon-reload
#重新es服务
systemctl restart elasicsearch
#查询端口
netstat -lntup
ss -lnt
#命令行的方式检查
curl http://10.0.0.240:9200
curl http://localhost:9200
8、和es交互的方式
8.1、了解概念
1、索引：相当于在mysql当中创建一个数据库（database）
2、类型：相当于数据库当中的一张表（table）
3、docs：表中字段信息
ES常用的数据类型可分为3大类
  • 核心数据类型
  • 复杂数据类型
  • 专业数据类型

核心数据类型

（1）字符串

  • text 属于全量索引，搜索时会自动使用分词器进⾏分词再匹配
  • keyword 不分词，搜索时需要匹配完整的值

（2）数值型

  • 整型： byte，short，integer，long
  • 浮点型： float, half_float, scaled_float，double

（3）日期类型

  • date

json没有date类型，插入|更新文档|字段时怎么表示date类型？

#mapping，将字段类型设置为date
"type" : "date" 


#插入|更新此字段的值时，有3种表示方式

#使用固定格式的字符串
"2020-04-18"、"2020/04/18 09:00:00"   

#值使用长整型的时间戳，1970-01-01 00:00:00，s
1610350870    

#值使用长整型的时间戳，ms
1641886870000

（4）范围型

integer_range， long_range， float_range，double_range，date_range

比如招聘要求年龄在[20, 40]上，mapping：

age_limit :{
　"type" : "integer_range"
}

插入|更新文档|字段时，值写成json对象的形式：

"age_limit" : {
　"gte" : 20,
　"lte" : 40
}

https://www.cnblogs.com/chy18883701161/archive/2020/04/18/12723658.html

8.2、使用命令行的方式和es交互
常用的方法
PUT\POST\DELETE\GET
1、创建一个索引
curl -XPUT http://10.0.0.240:9200/gaoxu
2、往这个索引里面写入一条数据
curl -XPUT '10.0.0.211:9200/gaoxu/student/1?pretty' -H 'Content-Type: application/json' -d'
{
    "first_name" : "zhang",
    "last_name": "san",
    "age" : 28,
    "about" : "I love to go rock climbing", 
    "interests": [ "sports" ]
}'



##  内容解析
本质es属于数据库, gaoxu为数据库库名(索引),student为一张表(类型)
1 :指定一个唯一id号
pretty:固定格式
-H: 头信息
-d: 数据内容


##  索引有多少索引:
curl http://localhost:9200/_cat/indices?v
根据索引往下查询type类型
 curl -XGET http://localhost:9200/uccaut
 根据type类型往下细分具体查找
 curl -XGET http://localhost:9200/uccaut/custom
 
 
 curl -XGET http://localhost:9200/uccaut/commodity/10089?pretty
3、写第二条数据
curl -XPUT  '10.0.0.240:9200/gaoxu/student/2?pretty' -H 'Content-Type: application/json' -d' {
"first_name": "li",
"last_name" : "si",
"age" : 32,
"about" : "I like to collect rock albums", 
"interests": [ "music" ]
}'
4、随机生成一个id，写入数据
curl -XPOST  '10.0.0.240:9200/gaoxu/student/?pretty' -H 'Content-Type: application/json' -d' {
"first_name": "li", 
"last_name" : "mingming",
"age" : 45,
"about": "I like to swime", 
"interests": [ "reading" ]
}'
5、查询指定id为1的数据信息
curl -XGET  '10.0.0.240:9200/gaoxu/student/1?pretty'
6、查询指定索引的所有数据
curl -XGET  '10.0.0.240:9200/gaoxu/_search/?pretty'
7、删除指定id为1的数据
curl -XDELETE  '10.0.0.240:9200/gaoxu/student/1?pretty'
8、删除指定索引里面所有的数据，包括索引本身
curl -XDELETE '10.0.0.240:9200/gaoxu/?pretty'
8.3、使用插件head和es交互
#部署head插件有多种方法
1、nodejs npm
2、谷歌自带的head插件
3、docker的方式来部署

通过head插件写入数据
1、创建一个索引
http://10.0.0.240:9200/gaoxu  PUT
2、插入数据：
http://10.0.0.240:9200/gaoxu/student/1  PUT
{
   "first_name":"lao",
   "last_name":"wang",
   "age":25,
   "about":"I love to go rock climbing",
   "interests":["sports"]
}
3、插入第二条数据：
http://10.0.0.240:9200/gaoxu/student/2  PUT
{
   "first_name":"wang",
   "last_name":"wu",
   "age":27,
   "about":"I love to go rock climbing",
   "interests":["music"]
}
4、不指定id号随机插入一条数据：
put不支持随机分配id号，post支持随机分配id号
http://10.0.0.240:9200/gaoxu/student/  POST 
{
   "first_name":"zhao",
   "last_name":"liu",
   "age":29,
   "about":"I love to go rock climbing",
   "interests":["eatting"]
}
5、查询指定id号的数据信息：
http://10.0.0.240:9200/gaoxu/student/1 GET
6、查询指定索引所有数据信息：
http://10.0.0.240:9200/gaoxu/_search GET
7、删除指定的数据：
http://10.0.0.240:9200/gaoxu/student/1 DELETE
8、删除指定索引里面的数据：
http://10.0.0.240:9200/gaoxu/  DELETE
8.4、使用nodejs方式来部署head插件
1、安装epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
2、安装 nodejs  npm
yum install nodejs npm openssl screen -y#配置nodejs环境
3、安装组件
npm install -g cnpm --registry=https://registry.npm.taobao.org 

4、克隆代码
官网https://github.com/mobz/elasticsearch-head
cd /opt/
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
cnpm install
screen -S es-head
cnpm run start
Ctrl+A+D
5、修改es配置文件最下面加入下面内容
vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
#重启es服务
systemctl restart elasticsearch
6、出现node版本不兼容
cd /opt/es-software
tar xf node-v12.13.0-linux-x64.tar.xz -C /opt
ln -s /opt/node-v12.13.0-linux-x64 /opt/node
#添加环境变量
vim /etc/profile
export PATH=/opt/node/bin:$PATH
#把环境变更生效
source /etc/profile
#重新安装
cnpm install
程少亭
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
日志易V2.0搜索实例手册
11-09
本手册主要讨论如何使用日志易的日志检索感知语言SPL 。如果您对日志易产品还不太熟悉，推荐您首先阅读《日志易使用手册》及《日志易数据接入手册》等其他文档。 日志易SPL集合了所有的检索命令、函数、参数和从句。检索命令告诉日志易系统对索引中的数据应该做什么操作。比如，你可以使用检索命令来过滤不必要的信息、提取更精确的信息、评估新的字段、计算统计指标、排序结果，甚至创建一个图表。
日志易V2.0入门手册
11-09
日志易产品支持的数据接入方式主要包括以下三种，本次示例我们将采用第三种接入方式---“web方式”，关于其它方式的数据接入配置，请参阅《日志易数据接入手册》。 1. 日志易agent：通过使用日志易Agent进行采集。我们推荐部署版用户采用此种方式。 2. rsyslog agent：使用rsyslog5.8.0或更高版本，确保您拥有sudo权限，可通过配置rsyslog agent转发本地日志文件到日志易。 3. web方式：使用http post上传日志文件。
最全10个好用的Web日志安全分析工具_前端日志工具有哪些(1)，看完就能找到工作
最新发布
2401_84562143的博客
05-11 814
一键自动化分析，输出安全分析报告，支持iis/apache/nginx日志，支持自定义格式。程序员的看日志利器，支持,tail, less, grep，支持超大的文本文件，从几M到几十G的日志文件都流畅自如。一款非常炫酷且可视化日志分析工具，可以直观的展示CC攻击和网站的日志分析，并以可视化的3D效果展示出来。一款功能强大的开源日志分析系统，可以图形方式生成高级Web，流媒体，ftp或邮件服务器统计信息。一款开源的分析web日志工具，采用python语言开发，具有灵活的日志格式配置。
日志易—大数据日志分析行业的新星(第一节)
weixin_33939380的博客
08-18 333
第一章日志易的优势日志易是一款运维日志和业务日志搜索分析引擎，通过方便灵活的日志搜索分析，帮助用户及时发现问题。 日志易提供在大中型企业内数据中心部署的企业版，也通过公有云提供 SaaS 服务。1.1日志易的特点1.11快速高效的响应：从事件发生到查询可见，日志易系统秒级完成数据的采集、处理和搜索统计。1.12高可用扩展性日志易采用高可用扩展性的分布式系统架构设计。可以支持每...
最好用的日志分析工具ELK Stack
10-25
对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合。
Elk（日志收集分析工具） 基础知识、部署ElasticSearch集群环境
m0_60379130的博客
03-03 1248
什么是Elk? ELK是一整套解决方案，是三个软件产品的首字母缩写。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 ELK分别代表： Elasticsearch：负责日志检索和存储 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash:负责日志的收集分析，处理 一般工作方式为c/s架构，c
ELK（日志收集平台）
weixin_46941625的博客
07-31 417
ELK由ElasticSearch、Logstash和Kibana三个开源工具组成 组件介绍 1、Elasticsearch： ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用
ELK——日志处理界的瑞士军刀
hy199707的博客
04-11 1231
在大数据时代，日志管理与分析已经成为运维、开发和业务优化中不可或缺的一环。而ELK ，即Elasticsearch、Logstash、Kibana三者组成的开源解决方案，以其强大的实时数据分析能力，在业界广受好评，被誉为“日志处理界的瑞士军刀”。
解析xml到elk里
oijqws的博客
10-24 273
from datetime import datetime from elasticsearch import Elasticsearch from bs4 import BeautifulSoup from os import walk es = Elasticsearch() id = 1 #parse pm file def parse_pm(filename): global...
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
ELK日志分析平台搭建全过程
01-27
总结起来，搭建ELK日志分析平台需要依次安装和配置JDK、Elasticsearch、Logstash和Kibana，同时考虑系统环境、权限管理和日志格式解析。这个过程虽然涉及多个步骤，但一旦完成，将为监控和分析日志提供强大工具，...
采用ELK搭建日志分析系统.docx
10-13
在搭建ELK日志分析系统时，以下是一些关键步骤： 1. 安装Elasticsearch并确保其在9200端口上监听。可以使用`ps -ef | grep elasticsearch`命令检查进程状态，或通过浏览器访问`http://localhost:9200`验证服务是否...
ELK日志收集系统完全实现
01-27
ELK（Elasticsearch, Logstash, Kibana）日志收集系统是一种广泛使用的日志管理和分析解决方案。它能够高效地收集、解析、存储和展示应用程序及系统的日志数据，帮助运维人员监控系统状态，排查问题，进行数据分析。...
ELK日志收集系统.docx
01-16
总结来说，ELK日志收集系统是一个强大的日志管理和分析工具，它提供了从收集、传输、存储到分析的全套解决方案，帮助企业或组织有效地管理和理解其系统的日志数据。通过优化配置和合理选择架构，可以应对大规模数据...
运维人必备：日志分析工具日志易之银行业解决方案
weixin_34059951的博客
03-10 470
运维人必备：日志分析工具日志易之银行业解决方案银行和金融服务行业面临着因为技术革新带来的许多挑战和机遇。系统每天产生数以 TB 计的交易、支付、渠道等各种日志数据。银行机构必须为迅速增长的海量数据建立全新的处理策略和维护能力，以应对日趋复杂的管理需求和抓住不断变化市场机遇。日志数据中蕴藏着丰富的知识，可以帮助银行机构提高服务质量，占据竞争优势。1、关联事务...
ELK+syslog+nginx访问日志收集+分词处理
weixin_34348805的博客
07-20 333
一、nginx访问日志配置:1、日志格式配置：log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size...
ELK 企业级日志分析系统
q1y2y3的博客
07-11 1925
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。input {file{#path表示要收集的日志的文件位置#type是输入ES时给结果增加一个叫type的属性字段#start_position可以设置为beginning或者end，beginning表示从头开始读取文件，end表示读取最新的，这个要和ignore_older一起使用。
date类型_ElasticSearch 常用字段类型
weixin_39564036的博客
11-29 350
ES常用的数据类型可分为3大类核⼼数据类型复杂数据类型专⽤数据类型核心数据类型(1)字符串text ⽤于全⽂索引，搜索时会自动使用分词器进⾏分词再匹配keyword 不分词，搜索时需要匹配完整的值(2)数值型整型： byte，short，integer，long浮点型： float, half_float, scaled_float，double(3)日期类型datejson没有date类型，插入...
ELK日志分析工具
zhouziyu00的博客
07-19 1281
ELK 概述 一、ELK简介 1ELK平台由ElasticSearch、Logstash 和 Kiabana 三个开源工具组成 1，ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。 2，Logstash：作为数据收集引擎。一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。 3，Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash
ELK日志分析系统详解与应用
"ELK日志分析系统是一个由Elasticsearch、Logstash和Kibana组成的开源工具集合，常用于实时日志分析和可视化。它能够帮助用户有效地管理和理解大量日志数据，解决传统日志分析中的问题，如日志太多导致定位异常困难...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值