elk部署

最新推荐文章于 2023-10-22 02:49:39 发布
最新推荐文章于 2023-10-22 02:49:39 发布
阅读量167 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_Godof_war/article/details/117425067
版权

ELK

概述

在这里插入图片描述

日志处理步骤

第一步：将日志进行集中化管理（beats）
第二步：将日志格式化（Logstash），然后将格式化后的数据输出到Elasticsearch
第三步：对格式化后的数据进行索引和存储（Elasticsearch）
第四步：前端数据的展示（Kibana）

Elasticsearch

概述

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:

分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
实时分析的分布式搜索引擎。
可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

Elasticsearch的特性
接近实时的搜索
集群
节点
索引
索引（库）→类型（表）→文档（记录）

分片和副本

在这里插入图片描述

LogStash概述

Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。

Kibana概述

在这里插入图片描述

部署elk

配置ELK日志分析集群
使用Logstash收集日志
使用Kibana查看分析日志
案例环境
配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

环境
node1 CentOS7 192.168.21.20 Elasticsearch/Kibana
node2 CentOS7 192.168.21.30 Elasticsearch
apache CentOS7 192.168.21.100 httpd / Logstash
客户机（宿主机） Windows10 192.168.21.188

关防火墙和系统安全机制

在这里插入图片描述

环境

node1（192.168.21.20）
node2（192.168.21.30）

echo '192.168.21.20 node1' >> /etc/hosts
echo '192.168.21.30 node2' >> /etc/hosts
java -version    #如果没有安装，yum -y install java
部署elasticsearch软件

安装包放在/opt目录下



cd /opt
rpm -ivh elasticsearch-5.5.0.rpm

在这里插入图片描述

加载系统服务

systemctl daemon-reload
systemctl enable elasticsearch.service

更改服务配置文件



cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml
#17行；
cluster.name: my-elk-cluster
#23行；
node.name: node1
#33行；
path.data: /data/elk_data
#37行；
path.logs: /var/log/elasticsearch
#43行；
bootstrap.memory_lock: false
#55行；
network.host: 0.0.0.0
#59行；
http.port: 9200
#68行；
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

检验配置
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建数据存放路径并授权


mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在这里插入图片描述

启动elasticsearch是否成功开启

systemctl start elasticsearch
netstat -antp |grep 9200

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装elasticsearch-head插件

解压
编译安装‘
在这里插入图片描述

安装phantomjs（前端框架）

包放opt


node1（192.168.21.20）
node2（192.168.21.30）


cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

在这里插入图片描述

安装elasticsearch-head（数据可视化工具）

包放opt


node1（192.168.21.20）
node2（192.168.21.30）


cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

在这里插入图片描述

修改主配置文件

node1（192.168.21.20）
node2（192.168.21.30）

vim /etc/elasticsearch/elasticsearch.yml
......
#-------末尾;添加以下内容--------
http.cors.enabled: true
http.cors.allow-origin: "*"

#-----------参数解释-----------------------------
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch.service

在这里插入图片描述

启动elasticsearch-head

node1（192.168.21.20）
node2（192.168.21.30）

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

在这里插入图片描述

使用elasticsearch-head插件查看集群状态

在这里插入图片描述

创建索引

node1（192.168.21.20）
创建索引为index-demo,类型为test
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"srs","mesg":"hello world"}'

回到宿主机192.168.163.1
打开浏览器输入地址，查看索引信息
http://192.168.163.11:9100

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装logstash

环境


apache（192.168.21.70）

yum -y install httpd
systemctl start httpd
java -version

在这里插入图片描述

安装logstash

包放在opt下


apache（192.168.21.70）


cd /opt
rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service
systemctl enable logstash.service

#建立logstash软连接
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述

测试logstash

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在宿主机192.168.221.188上访问

在这里插入图片描述
在这里插入图片描述

Apache主机上做对接配置

apache（192.168.163.13）

Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

chmod o+r /var/log/messages
ll /var/log/messages

vim /etc/logstash/conf.d/system.conf
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.21.20:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }


systemctl restart logstash.service

在这里插入图片描述
在这里插入图片描述

访问

在这里插入图片描述
在这里插入图片描述

安装kibana

在这里插入图片描述

在这里插入图片描述

访问

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

对接Apache主机的Apache 日志文件（访问日志、错误日志）

apache（192.168.21.70）

cd /etc/logstash/conf.d/

vim apache_log.conf
input {
     file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
      }
     file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
      }
}
output {
    if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.21.20:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.21.20:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

/usr/share/logstash/bin/logstash -f apache_log.conf

在这里插入图片描述

访问

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

The_Godof_war
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK部署中文指南.
03-25
《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》
elk 部署全过程详细
qq_44539351的博客
06-03 9199
elk完整部署文档编写超详细
ELK
流风雨情的博客
11-14 3331
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日...
ELK概述部署和Filebeat 分布式日志管理平台部署
fyb012811的博客
10-22 2682
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
ELK部署
掌九的博客
08-08 1159
返回/var/lib/elasticsearch/elasticsearch-head-master目录并安装依赖。在5.0版本之后不支持直接把插件包放入es安装目录的plugin目录下，需要单独安装。：直接使用npm安装时间久，依赖网络，替换为淘宝的cnpm。复制配置文件修改：修改为本机的hostname。进入IP:8000并点击connect。浏览器访问9000端口。......
ELK部署文档.docx
03-24
ELK部署文档---
ELK部署中文指南
09-26
ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 ...
elk部署笔记
11-13
elk的部署安装文档，关于elk文档日志分析等，其中包括日志收集。
elk部署包简单版本11111
最新发布
12-25
elk部署包简单版本11111
随记——ELK部署
weixin_49439135的博客
06-21 887
下载安装包：elasticsearch、kibana、logstash、filebeat 注意版本要一致，这里用的是7.13.4。es安装目录中的plugins目录下新建目录ik,将下载的zip解压到新建目录下。kibana也不能使用root账户启动，使用上面es创建的账户即可。注意防火墙，测试环境可以关闭防火墙，生产可以选择放开相应端口。下载地址：（选择对应版本的分词器下载，直接下载zip即可）重启es，log中可以看到插件加载成功。
ELK安装部署搭建
m0_61664359的博客
01-20 3724
一、ELKStack简介 -- 日志分析管理（都是Java架构 -- 需要JDK底层） 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic. 1、Elasticsearch elastics..
ELK简介以及安装部署
m0_54255157的博客
09-05 9134
ELK 是 Elasticsearch、Logstash、Kibana 三大开源框架的首字母大写简称。市面上也被称为Elastic Stack。其中 Elasticsearch 是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用 Elasticsearch作为底层支持的框架，可见 Elasticsearch 提供的搜索能力确实强大，市面上很多时候我们称Elasticsearch 为 es。
ELK 8.4.3 docker 保姆级安装部署详细步骤
cz860410的专栏
11-03 2945
ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 是用Java 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。
ELK 部署及配置
weixin_42808782的博客
04-10 1622
ELK即ElasticSearch、Logstash和Kibana，是由这三个软件组成的，能够实现日志入库和日志检索，安装也较为简单，下面介绍安装部署方法： 一、下载软件： 三个软件的下载，可访问我的网盘： 链接：https://pan.baidu.com/s/1yqPaX4ElR-AGIy4azS0Yuw 提取码：aabd 复制这段内容后打开百度网盘手机App，操作更方便哦 二、部署说明 环境 centos7 192.168.10.134 部署ElasticSearch 192.168.10.135 部
ELK日志分析系统部署
zzn0109的博客
07-13 695
ELK+Filebeat
ELK详细安装部署
song12345xiao的博客
07-26 4725
ELK详细安装部署
ELK集群部署(史上超详细)
REEB00T
12-01 3237
ELK集群部署(史上超详细)
ELK的安装部署与使用
小庄的博客
05-18 1158
ELK的使用
Filebeat+ELK 部署
07-12
你好！对于部署Filebeat和ELK（Elasticsearch, Logstash, Kibana）的步骤，可以按照以下指南...以上是一个基本的Filebeat+ELK部署过程。请根据您的需求和环境进行相应的配置和调整。如果有进一步的问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值