【ELK】liunx安装ELK、filebeat及x-pack

最新推荐文章于 2024-08-02 15:47:16 发布

星辰_mya

最新推荐文章于 2024-08-02 15:47:16 发布

阅读量814

点赞数

分类专栏： ELK+Filebeat

本文链接：https://blog.csdn.net/ma15732625261/article/details/79799469

版权

ELK+Filebeat 专栏收录该内容

30 篇文章 4 订阅

订阅专栏

官网下载地址先贴出来：https://www.elastic.co/downloads 需要的自取，默认下载最新版，找到之前的版本对我来说有点困难，不过在6.1.2的时候我机智的下载了全套，需要的话下面会上传到CSDN

ELK简介:

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；

Logstash：数据处理引擎，它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到 ES;

Kibana：数据分析和可视化平台。与 Elasticsearch 配合使用，对数据进行搜索、分析和以统计图表的方式展示；

Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，使用 golang 基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析。

作者：大数据之心
链接：https://www.jianshu.com/p/934c457a333c
來源：简书

首先安装ELK
安装es之前写过博客

各自为他们选好路径，logstash和kibana这两个小支滴安装都是一样的套路，如下
tar -zxvf software
这样就安装好了

配置ELK：
kibana：进入/usr/local/bin/kibana-6.1.2/config目录下打开kibana.yml添加：

server.host: “0.0.0.0”
elasticsearch.url: “http://192.168.22.95:9200” //改成自己的

启动的命令

Elasticsearch 进入bin目录 ./elasticsearch -d (-d 后台运行）
Kibana 进入bin目录 ./kibana & exit;(&后台运行，exit；退出虚拟机，也可以不退出去了这个exit;就可以了，我之前有一次把这个去了，结果再次打开xshell我的kibana没有起来，所以就把它又加上了，需要再次连接）
logstsh 进入bin目录 bin/logstash -f ./config/

这个需要写一些类似配置文件的文件（以.conf为后缀），单独启动某一个配置文件：bin/logstah -f /config/fileName &（&后台运行），上面的命令时启动config文件夹下的所有以.conf文件；因为放到了config目录下，所以是这样的命令，可以说配置文件可以随便放，启动的时候指定路径就可以了，但是为了好管理，我放到了config目录下：

启动logstash，不管有多少个配置文件最后在启动的时候都会编译成一个文件，也就是说logstash启动后，无论有多少个input或output，只有一个pipeline。

PS：因为logstash和elasticsearch运行比较占内存，那次把他们两安在了一块都运行了起来，结果卡的不行，我都已经自己掉线了，废话比正文多，不好意思，进入正题：
安装x-pack，这个很厉害
x-pack
集很多功能与一身,下面将其安全方面的功能说一下，这个配置不好是很让人脑仁疼的一件事；

这个可以下载tar、zip、*离线安装，我是通过插件的方法安装的：进入bin目录下

./kibana-plugin install x-pack
./elasticsearch-plugin install x-pack
./logstash-plugin install x-pack

安装其他插件也是同样的道理，移除的话：

./ **-plugin remove x-pack

logstash需要其他的插件来支持其强大的输入、输出功能，有的插件因为外网的原因可能下载失败，怎么办哪？给你灵丹妙药：

//修改logsta目录下的Gemfile文件
source "https://ruby.taobao.org/"
安装的时候添加--no-verify不验证安装包来源，如：
./bin/logstash-plugin install --no-verify grok

ps：只要虚拟机连着网运行命令等着下载完就好了，有的下载比较慢，感觉像卡了一样：正常现象

安装了x-pack之后，默认为elasticsearch生成一个超级用户elastic密码是changeme，还有logstash_system、kibana_system这两个用户，密码可能也是changeme
kibana配置文件添加：

elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

logtash配置文件：

xpack.monitoring.elasticsearch.username: "elastic" 
xpack.monitoring.elasticsearch.password: "changeme"
xpack.monitoring.enabled: true 
xpack.monitoring.elasticsearch.url: http://X.X.X.X:9200

x-pack可以自动生成密码：进入elasticsearch的bin目录下

bin/x-pack/setup-passwords auto

这些密码是一定要记住的，然后对应kibana和logstah的修改配置文件，也可以指定密码但是我没有成功，为了避免误人子弟，就不贴自定义密码密码了。
也可以登录kibana界面，在user那里修改密码，这样需要注意先将修改后的密码写到kibana的配置文件中，否则一修改便不能再进入了，除非禁用x-pack的安全检查：

xpack.security.enabled: false//在kibana、logstash、elasticsearch的配置文件中添加

x-pack的属性：

    #设置                  #描述
    xpack.graph.enabled    #设置为false以禁用X-Pack图形功能。
    xpack.ml.enabled       #设置为false以禁用X-Pack机器学习功能。
    xpack.monitoring.enabled  #设置为false以禁用X-Pack监视功能。
    xpack.reporting.enabled   #设置为false以禁用X-Pack报告功能。
    xpack.security.enabled    #设置为false以禁用X-Pack安全功能。
    xpack.watcher.enabled    #设置为false以禁用Watcher。