ELK日志分析系统的部署

已于 2022-07-07 19:06:04 修改
阅读量243 收藏
点赞数
文章标签： elk 大数据 elasticsearch
于 2022-07-07 19:03:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58292366/article/details/125640763
版权

一、ELK概述

1、ELK简介

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

2、ElasticSearch

（1）ElasticSearch概述

是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与Elasticsearch通信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

（2）ElasticSearch核心概念

1）接近实时

2）集群

3）节点

4）索引

索引（库）----->类型（表）----->文档（记录）

5）分片和副本

3、Logstash

 Logstash lnstance数据流向

作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。

Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

注：Ruby为解释型语言，解释型语言执行效率底，但是跨平台性能好，如java，python。

编译型语言则是执行效率高，但是跨平台性能差，比如c，go，c++。

4、Kiabana

Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

5、ELK可添加的其他组件

（1）Filebeat

轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

 filebeat 结合 logstash 带来好处

1）通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力
2）从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取
3）将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件
4）使用条件数据流逻辑组成更复杂的处理管道

（2）缓存/消息队列（redis、kafka、RabbitMQ等）

可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

（3）Fluentd

是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

6、为什么要使用ELK

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

7、完整日志系统基本特征

收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持 UI 分析
警告：能够提供错误报告，监控机制

8、ELK 的工作原理

（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。

（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。

（3）Elasticsearch 对格式化后的数据进行索引和存储。

（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

二、ELK日志分析系统集群部署

环境

服务器类型系统和IP地址需要安装的组件硬件方面
Node1节点CentOS7.4(64 位) 192.168.154.19Elasticsearch  Kibana2核4G
Node2节点CentOS7.4(64 位) 192.168.154.20Elasticsearch2核4G
Apache节点CentOS7.4(64 位) 192.168.154.21Logstash Apache2核4G

5.1 ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）

1.环境准备

#更改主机名 
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2
Apache节点：hostnamectl set-hostname apache

#配置域名解析
vim /etc/hosts
192.168.154.19   node1
192.168.154.20   node2

#查看Java环境，如果没有安装，yum -y install java
java -version

 （1）配置域名解析

在node1上

 （2）查看java环境

没有的话yum install java -y

 2、部署Elasticsearch 软件

（1）#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

（2）#加载系统服务
systemctl daemon-reload    
systemctl enable elasticsearch.service

（3）#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

#查看主配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

#将node1的配置文件拷贝一份在node2上并去node2上修改
scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node2

（4）#创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

（5）#启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200

（6）#查看节点信息
浏览器访问 ，查看节点 Node1、Node2 的信息
http://192.168.154.19:9200  http://192.168.154.19:9200 

#原谅色：green
http://192.168.154.19:9200/_cluster/health?pretty
http://192.168.154.19:9200/_cluster/health?pretty
#######  使用以上方式查看状态并不友好，可以通过 elasticsearch-head插件来直接管理  #####

（1）上传elasticsearch-5.5.0.rpm到/opt目录下

编译安装

 

（2）加载系统服务

（3）修改elasticsearch主配置文件

先修改node1上的配置文件

预防配置出错先备份主配置文件

 

 #将node1的配置文件拷贝一份在node2上并去node2上修改

 node2的配置文件修改

（4）创建数据此能否路径并授权

（5）启动elasticcsearch是否成功开启

 （6）查看节点信息

 

 3．安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

    node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
    phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

（1）#编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make -j2 && make install

（2）#安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

（3）#安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

（4）#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch

（5）#启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

（6）#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。访问有问题 可以将localhost 改成ip地址
（7）#插入索引
##登录192.168.154.19 node1主机#####  索引为index-demo,类型为test,可以看到成功创建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

####在192.168.91.100  刷新浏览器输入看索引信息###
node1信息动作 01234 
node2信息动作 01234 
●上面图可以看见索引默认被分片5个，并且有一个副本

点击数据浏览--会发现在node1上创建的索引为index-demo,类型为test, 相关的信息

（1）编译安装 node，这边只演示node2上，node1上的操作相同

 （2）安装phantomjs（这里展示node2的node1和node2一样）

（3）安装 Elasticsearch-head 数据可视化工具

 （4）修改 Elasticsearch 主配置文件(这边展示node1的，node2与之相同)

 （5）启动 elasticsearch-head 服务

 （6）浏览器访问：http://192.168.154.19:9100/

 （7）插入索引

 

 5.2 ELK Logstash 部署（在 Apache 节点上操作）

1.安装Logstash

（1）#修改主机名
hostnamectl set-hostname apache
su

（2）#安装httpd并启动
yum -y install httpd
systemctl start httpd

（3）#安装java环境
yum -y install java
java -version

（4）#安装logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                     
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

（1）修改主机名

 （2）安装httpd并启动

（3）安装java环境

 （4）安装logstash

 2.测试 Logstash（Apache）与elasticsearch（node）功能是否正常，做对接

Logstash这个命令测试
字段描述解释：
●	-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
●	-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是“空”则默认使用stdin做为输入、stdout作为输出）
●	-t  测试配置文件是否正确，然后退出

logstash -f  配置文件名字      去连接elasticsearch  

（1）#输入采用标准输入 输出采用标准输出---登录192.168.154.19  在Apache服务器上
logstash -e 'input { stdin{} } output { stdout{} }'

16:45:21.422 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
16:45:21.645 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   ##需要手动输入
2021-12-16T08:46:14.041Z apache www.baidu.com
www.sina.com     ##需要手动输入
2021-12-16T08:46:23.548Z apache www.sina.com


（2）#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

16:51:13.127 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
16:51:13.174 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
16:51:13.205 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com  ##需要手动输入
{
    "@timestamp" => 2022-6-16T08:52:22.528Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

（3）##使用logstash将信息写入elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.154.19:9200"] } }'

（1）输入采用标准输入 输出采用标准输出—登录192.168.154.19在Apache服务器上

 （2）使用 rubydebug 输出详细格式显示，codec 为一种编解码器

 （3）使用logstash将信息写入elasticsearch中

 3.定义 logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。

(1)#给日志目录可读权限
chmod o+r /var/log/messages					#让 Logstash 可以读取日志
（2）#修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.conf

input {
    file{
        path =>"/var/log/messages"						#指定要收集的日志的位置
        type =>"system"									#自定义日志类型标识
        start_position =>"beginning"					#表示从开始处收集
    }
}
output {
    elasticsearch {										#输出到 elasticsearch
        hosts => ["192.168.154.19:9200"]	#指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"		#指定输出到 elasticsearch 的索引格式
    }
}

（4）#重启服务
systemctl restart logstash

(5)#登录192.168.154.20 真机
打开浏览器 输入http://192.168.154.19:9100/ 查看索引信息###

多出 system-xxxx

(1)#给日志目录可读权限

 (2)修改 Logstash 配置文件

(3)重启服务

 (4)浏览器打开hhtp://192.168.154.19:9100/

 

5.3 ELK Kiabana 部署（在 Node1 节点上操作）

（1）#安装 Kiabana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

（2）#设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.154.19:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

（3）#启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

（4）#验证 Kibana
浏览器访问 http://192.168.154.19:5601

第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-*			#在索引名中输入之前配置的 Output 前缀“system”
单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果

（5）#将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.154.19:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
        if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.154.19:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }


cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

6.#浏览器访问http://192.168.154.19:9100/测试，查看索引信息能发现
apache_error-2019.04.16     apache_access-2019.04.16 

#浏览器访问http://192.168.154.19:5601
点击左下角有个management选项---index  patterns---create index pattern
----分别创建apache_error-*   和     apache_access-* 的索引

（1）安装Kiabana

 （2）设置 Kibana 的主配置文件

 （3）启动Kibana服务

 （4）验证 Kibana，浏览器访问 http://192.168.154.19:5601

 

（5）将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

   浏览器访问http://192.168.154.19:9100/测试，查看索引信息能发现两个日志

http://192.168.154.19:5601

添加索引apache_error-*

 添加索引apache_access-*

 

灌南第一帅
关注
ELK日志分析系统
04-30
### ELK日志分析系统详解 #### 一、ELK平台概述 ELK栈是由Elasticsearch、Logstash和Kibana三个核心组件组成的开源工具集合，主要用于收集、存储、分析和可视化各种类型的日志数据。 ##### 1.1 ELK概述 - **...
轻量级分布式日志管理系统Graylog、Loki及ELK的分析和对比
Enweitech Software Works
04-19 7877
1. 为什么需要集中的日志系统？ 在分布式系统中，众多服务分散部署在数十台甚至是上百台不同的服务器上，要想快速方便的实现查找、分析和归档等功能，使用Linux命令等传统的方式查询到想要的日志就费时费力，更不要说对日志进行分析与归纳。 如果有一个集中的日志系统，便可以将各个不同的服务器上面的日志收集在一起，不仅能方便快速查找到相应的日志，还有可能在众多日志数据中挖掘到一些意想不到的关联关系。 作为DevOps工程师，会经常收到分析生产日志的需求。在机器规模较少、生产环境管理不规范时，可以通过分配系统账号，
Beats: 使用 Filebeat 进行日志结构化 - Python
Elastic 中国社区官方博客
06-11 6019
结构化日志背后的想法很简单：让应用程序直接编写 JSON 对象，而不是让应用程序将需要通过正则表达式解析的日志写入到你索引到 Elasticsearch 的 JSON 对象中。 举例来说，假设你正在编写 Python Web 应用程序，并且正在使用标准库进行记录。 用户登录后，你可能会使用如下所示的日志记录语句： createlogs.py import logging user = { "name": "liuxg", "id": "1" } session_id = "91e5b9d
python对数据进行统计分析_python获取ELK数据进行统计分析
weixin_39625305的博客
11-24 182
首先，我们现在kiban上面绘制自己需要统计出来的数据然后点击右上角inspect，将request的json格式复制粘贴到Dev Tools上面，这样会将我们需要的数据，已json的形式返回将请求的json格式保存下来，开始写py文件fromelasticsearchimportElasticsearchimportdatetime#初始化链接es=Elasticsearch([{'...
Beats：使用 Elastic Stack 记录 Python 应用日志
Elastic 中国社区官方博客
01-06 3689
日志记录实际上是每个应用程序都必须具备的功能。无论你选择基于哪种技术，都需要监视应用程序的运行状况和操作。随着应用程序扩展，这变得越来越困难，你需要查看不同的文件，文件夹甚至服务器来查找所需的信息。虽然你可以使用内置功能从应用程序本身编写 Python 日志，但应将这些日志集中在 Elastic Stack 之类的工具中。 借助 Elasticsearch 筛选大量数据的效率，应用程序开发人员可以快速缩小最重要的日志的范围。仪表板可发送给运营团队，使他们能够在检测到异常行为时迅速做出反应。 本文将重点介
读取日志分析数据python,python获取ELK数据进行统计分析
weixin_29657209的博客
03-27 573
首先，我们现在kiban上面绘制自己需要统计出来的数据然后点击右上角inspect，将request的json格式复制粘贴到Dev Tools上面，这样会将我们需要的数据，已json的形式返回将请求的json格式保存下来，开始写py文件fromelasticsearchimportElasticsearchimportdatetime#初始化链接es=Elasticsearch([{'...
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
ELK日志系统浅析与部署
01-27
《ELK日志系统浅析与部署》 在现代企业应用环境中，日志管理成为了一个不可或缺的环节。传统的日志记录方式，由于分散且缺乏统一的管理，导致开发人员和运维人员在面对服务问题时，难以快速定位和解决。ELK...
云计算python elk日志分析系统的搭建
m0_60655253的博客
11-20 1202
试实验： elk日志分析系统的搭建 要求：1. elk中创建的日志索引名称为自己名字的全拼 例子：output { elasticsearch { hosts => "192.168.2.10:9200" #第一台ip index => "zhangshenyue" ...
python日志分析框架_日志分析系统 ELK | IT工程师的生活足迹
weixin_39832628的博客
12-19 784
ELK (Elasticsearch + logstash + kibana) 日志分析实现日志的收集，处理，分析和图像化展示。Filebeat 日志收集工具Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。filebeat 其...
docker快速安装ELK
wangchange的博客
09-29 1028
注意ip是你的服务器ip,端口就是5601，首次访问页面如下，需要先配置Elastic,我们选择自己手动配置一下，然后配置Elastic服务地址，vi docker-compose.yml，然后将下面的代码粘贴到文件中，最后保存即可。先进入/usr/local/share/elk目录，然后启动ELK。创建/elk/elasticsearch/data/目录。创建/elk/logstash/pipeline/目录。创建/elk/kibana/conf/目录。创建docker-compose.yml。
第167天：应急响应-日志自动提取分析项目_ELK_Logkit_LogonTracer_Anolog等
weixin_71529930的博客
09-29 755
案例一： 日志自动提取-七牛Logkit&观星应急工具Logkit优点是可以提取多种日志设置配置文件访问3000端口直接进行访问前面默认即可，这里保存到本地，并设置保存路径不断的把系统层面的信息写入到文件当中文件保存为json格式此外在左侧日志收集器当中还可以检测各种数据库，http服务等测试本地mysql数据库但是好像不是很好用测数据库以及别的协议观星只能支持windows系统，并且会自动备份，自动转换成json格式会以时间格式进行命名，并且会直接打包成一个压缩包。
第168天：应急响应-ELK 日志分析系统&Yara规则&样本识别&特征提取&规则编写
最新发布
weixin_71529930的博客
09-30 921
案例一：ELK 搭建使用-导入文件&监控日志&语法筛选该软件是专业分析日志的工具，但是不支持安全软件的分析这里我是在kali中搭建的搭建参考文章：（第一篇成功，第二篇呢可能是国外的docker关闭了未成功）（本地搭建）（docker搭建）安装完成的界面三种模式选择日志上传上传文件导入命名并导入上传完成以后去查看可以根据不同类别去分类查看IP时间戳ua头这里看到呢ua头有个sqlmap直接定位搜索特征字符不是单独出现，需要在前后加上*
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 694
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
从 Kafka 到 WarpStream： 用 MinIO 简化数据流
MinIO
09-27 1128
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章。此次收购进一步增强了 WarpStream 提供高性能、云原生数据流的能力，巩固了其作为 Kafka 的可扩展且经济高效的替代方案的地位。本教程将引导您开始使用 WarpStream 和 MinIO，并解释结合使用这些工具如何为您的流媒体架构提供简单性、灵活性和成本节约。
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 494
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
【从0开始搭建微服务并进行部署】SpringBoot+dubbo+zookeeper
高朗的博客
09-29 1173
从0开始搭建微服务并进行部署：Springboot+dubbo+zookeeper
ELK日志分析系统实战：理论到部署
"ELK企业日志分析系统部署实战，理论结合实战，讲解ELK日志分析系统的概念、作用、产生背景以及组件解析，包括Logstash、Elasticsearch、Kibana的功能与工作流程，并详细阐述了ELK的部署步骤，涉及环境配置、软件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值