ELK环境搭建

最新推荐文章于 2023-08-11 21:37:36 发布

Aeroball

最新推荐文章于 2023-08-11 21:37:36 发布

阅读量210

点赞数

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/weixin_46034226/article/details/103770082

版权

Elasticsearch 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

spring boot与#### 一、 ELK阐述
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据

二、 Elasticearch环境搭建

2.1 Elasticearch的安装

2.2.1 单机版安装

下载后解压进入到bin目录下，双击elasticsearch.bat，即可启动。在浏览器输入http://localhost:9200/ 是否安装成功，如下图所示：

2.2.2 集群安装

Elasticsearch集群的安装非常的简单，只需要作一些简单的配置，修改配置文件 config/elasticsearch.yml。

本节将采用两台节点来配置集群，一台是Windows操作系统，另外一台是Linux操作系统，将Windows操作系统下的Elasticsearch节点作为主节点。两台服务器的IP地址如下：

操作系统	IP	节点类型
Windows操作系统	192.168.43.240	主节点(master)
Linux操作系统	192.168.223.139	从节点(Slave)

主节点

修改C:\Windows\System32\drivers\etc\hosts文件，加入如下内容

192.168.43.240  master

修改Elasticsearch的config目录下的elasticsearch.yml文件，内容如下：

# 集群的名字
cluster.name: my-application
# 节点的名称
node.name: master
# 数据存放的位置
path.data: D:/elasticsearch-datas/to/data
# 日志存放的位置
path.logs: D:/elasticsearch-datas/to/logs
# 节点绑定的IP
network.host: 192.168.43.240
# 设置端口号
http.port: 9200
# 集群中所有的节点的ip地址
discovery.seed_hosts: ["192.168.43.240", "192.168.223.139"]
# 初始状态下集群中主节点的 node.name
cluster.initial_master_nodes: ["master"]

启动elasticsearch

从节点

创建elasticsearch用户，执行如下命令

useradd -m -s /bin/bash elasticsearch

给elasticsearch的主目录权限授予新创建的 elasticsearch 用户

chown -R elasticsearch /elasticsearch/

在 /etc/sysctl.conf 文件中加入如下内容

vm.max_map_count=262144  #加大虚拟内存空间，然后重启服务器

192.168.43.240  master

修改Elasticsearch的config目录下的elasticsearch.yml文件，内容如下：

# 集群的名字
cluster.name: my-application
# 节点的名称
node.name: slave1
# 数据存放的位置
path.data: /elasticsearch-datas/to/data
# 日志存放的位置
path.logs: /elasticsearch-datas/to/logs
# 节点绑定的IP
network.host: 192.168.223.139
# 设置端口号
http.port: 9200
# 集群中所有的节点的ip地址
discovery.seed_hosts: ["192.168.43.240", "192.168.223.139"]
# 初始状态下集群中主节点的 node.name
cluster.initial_master_nodes: ["master"]

切换到elasticsearch用户，进入到elasticsearch的家目录下，执行如下命令

su - elasticsearch  #切换用户
bin/elasticsearch   #启动elasticsearch

集群监控

下载地址：https://github.com/lmenezes/cerebro/releases

直接双击cerebro家目录下的bin目录下的 cerebro.bat 即可启动，在浏览器地址栏访问：localhost:9000

在Node address输入：http://192.168.43.240:9200，然后点击 Connect 按钮

2.2 Kibana的安装

Kibana是世界上最受欢迎的开源日志分析平台ELK Stack中的“K” ，它为用户提供了一个工具，用于在存储于Elasticsearch集群中的日志数据进行检索，可视化和构建仪表板。

Kibana的核心功能是数据查询和分析。使用各种方法，用户可以搜索Elasticsearch中索引的数据，以查找其数据中的特定事件或字符串，以进行根本原因分析和诊断。基于这些查询，用户可以使用Kibana的可视化功能，允许用户使用图表，表格，地理图和其他类型的可视化以各种不同的方式可视化数据。

A. 下载后进入到家目录下的bin目录中，首先修改config目录下的kibana.yml文件，修改如下内容：

elasticsearch.hosts: ["http://192.168.43.240:9200", "http://192.168.223.139:9200"]

B. 进入bin目录下，双击 kibana.bat文件，在浏览器地址栏访问：http://localhost:5601
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GnXZkEhC-1577698337985)(https://upload-images.jianshu.io/upload_images/11530666-512bca898fa9e861.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

2.3 Logstash的安装

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。创建于2009年，于2013年被elasticsearch收购。

 Logstash的下载地址：https://www.elastic.co/cn/downloads/logstash

A. 下载测试数据集，下载地址：http://files.grouplens.org/datasets/movielens/，在该网页中下载ml-latest.zip

下载后解压目录，将movies.csv文件拷贝到指定的目录下，例如：D:/logstash-datas/ 目录。

B. 进入到Logstash的解压目录，进入到config目录下，新建logstash.conf，文件内容如下：

input {
  file {
    path => "D:/logstash-datas/movies.csv"
    start_position => "beginning"
    sincedb_path => "D:/logstash-datas/db_path.log"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://192.168.31.173:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

C. 在命令行进入到logstash的bin目录下，输入如下命令启动Logstash:

logstash.bat -f D:\logstash-datas\config\logstash.conf

特别强调：路径中绝对不能有中文。
D. 在Kibana的Dev Tools中执行 GET _cat/indices，即可查看到movies数据集：

的整合

Aeroball

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
ELK环境搭建

spring boot与#### 一、 ELK阐述ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用...
复制链接

扫一扫

专栏目录