日志管理工具简介1

最新推荐文章于 2024-09-16 12:33:32 发布

S0linteeH

最新推荐文章于 2024-09-16 12:33:32 发布

阅读量725

点赞数 15

文章标签： jenkins 运维

本文链接：https://blog.csdn.net/S0linteeH/article/details/141182757

版权

Elasticsearch

#简介

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

ElasticSearch是Elastic Stack的核心，同时Elasticsearch 是一个分布式、RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为Elastic Stack的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

#下载

到官网下载： (https://www.elastic.co/cn/downloads/elasticsearch (opens new window))

Elasticsearch

#安装

tar -zxvf elasticsearch-7.10.2-linux-x86_64.tar.gz -C /usr/local

修改配置

cd /usr/local/elasticsearch-7.10.2/config/
vim elasticsearch.yml

1
2

node.name: node-1
path.data: /usr/local/elasticsearch-7.10.2/data
path.logs: /usr/local/elasticsearch-7.10.2/logs
network.host: 127.0.0.1
http.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]

创建es用户因为ElasticSearch不支持Root用户直接操作，因此我们需要创建一个es用户

useradd es
chown -R es:es /usr/local/elasticsearch-7.10.2

#启动

切换用户成es用户进行操作

su - es
/usr/local/elasticsearch-7.10.2/bin/elasticsearch

1
2

后台启动

/usr/local/elasticsearch-7.10.2/bin/elasticsearch -d

在浏览器打开9200端口地址： (http://120.78.129.95:9200/ (opens new window))，如果出现了下面的信息，就表示已经成功启动了

Elasticsearch

#Logstash

#简介

Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到最喜欢的存储库中（我们的存储库当然是ElasticSearch）

#下载

到官网下载： (https://www.elastic.co/cn/downloads/logstash (opens new window))

Logstash

#安装

tar -zxvf logstash-7.10.2.tar.gz -C /usr/local

新增配置文件

cd /usr/local/logstash-7.10.2/bin
vim logstash-elasticsearch.conf

1
2

input {
	stdin {}
}
output {
	elasticsearch {
		hosts => '120.78.129.95:9200'
	}
	stdout {
		codec => rubydebug
	}
}

#启动

./logstash -f logstash-elasticsearch.conf

#Kibana

#简介

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

#下载

到官网下载： (https://www.elastic.co/cn/downloads/kibana (opens new window))

Kibana

#安装

tar -zxvf kibana-7.10.2-linux-x86_64.tar.gz -C /usr/local
mv /usr/local/kibana-7.10.2-linux-x86_64 /usr/local/kibana-7.10.2

1
2

修改配置

cd /usr/local/kibana-7.10.2/config
vim kibana.yml

server.port: 5601 
server.host: "0.0.0.0" 
elasticsearch.hosts: ["http://120.78.129.95:9200"] 
kibana.index: ".kibana"

授权es用户

chown -R es:es /usr/local/kibana-7.10.2/

#启动

切换用户成es用户进行操作

su - es
/usr/local/kibana-7.10.2/bin/kibana

后台启动

/usr/local/kibana-7.10.2/bin/kibana &

在浏览器打开5601端口地址： (http://120.78.129.95:5601/ (opens new window))，如果出现了下面的信息，就表示已经成功启动了

kibana

#切换中文

在config/kibana.yml添加

i18n.locale: "zh-CN"

#日志收集

对应服务器安装logstash，配置规则，例如新建logstash-apache.conf

input {
  file {
    path => "/home/ruoyi/logs/sys-*.log"
	start_position => beginning
	sincedb_path => "/dev/null"
	codec => multiline {
      pattern => "^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}"
      negate => true
      auto_flush_interval => 3
      what => previous
    }
  }
}

filter {
  if [path] =~ "info" {
    mutate { replace => { type => "sys-info" } }
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    date {
      match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    }
  } else if [path] =~ "error" {
    mutate { replace => { type => "sys-error" } }
  } else {
    mutate { replace => { type => "random_logs" } }
  }
}

output {
  elasticsearch {
    hosts => '120.78.129.95:9200'
  }
  stdout { codec => rubydebug }
}