ELK之 X-pack6.2简单使用

原文地址，转载请注明出处： https://blog.csdn.net/qq_34021712/article/details/79657143     ©王赛超 

介绍

X-Pack是一个Elastic Stack扩展，它将安全性，警报，监控，报告和图形功能捆绑到一个易于安装的软件包中。尽管X-Pack组件旨在无缝地一起工作，但您可以轻松启用或禁用要使用的功能。

在Elasticsearch 5.0.0之前，您必须安装独立的Shield，Watcher和Marvel插件才能获得捆绑在X-Pack中的功能。使用X-Pack，您无需担心每个插件的版本是否正确，只需安装您正在运行的Elasticsearch版本的X-Pack，即可开始使用！

安装前提

您必须在安装X-Pack之前安装Elasticsearch和Kibana。如果还计划在Logstash中使用X-Pack功能，则还必须在安装X-Pack之前安装Logstash。也必须运行与你正在运行的ELK版本相匹配的X-Pack版本,ELK安装请参阅：
ElasticSearch6.2单机安装
Elasticsearch-head插件安装
Logstash6.2单机安装

Kibana6.2安装使用

在Elasticsearch上安装X-Pack

1.联网安装方式

bin/elasticsearch-plugin install x-pack

2.如果你想在没有互联网的机器上安装X-Pack，先下载对应的x-pack版本zip包,然后执行以下操作

bin/elasticsearch-plugin install file:///path/to/file/x-pack-6.2.1.zip

采用第二种方式
①先下载x-pack-6.2.1.zip包,这个包有点大,300M,因为我安装的ELK都是6.2.1版本的，之前下载的6.2.2版本的不能用,执行下面命令下载安装包,只需要改一下最后面的版本就可以下载对应的安装包
https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-6.2.1.zip
②执行下面的命令安装

./elasticsearch-plugin install file:///usr/local/software/x-pack-6.2.1.zip

首先会出现以下内容,确认您要授予X-Pack其他权限。可以发送电子邮件通知。启动机器学习分析引擎等,连续输入两次y即可安装成功，之后在plugins目录下也会生成插件对应目录，以后要删除该插件的话，使用“elasticsearch-plugin remove x-pack”即可.

-> Downloading file:///usr/local/software/x-pack-6.2.1.zip
[=================================================] 100%   
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@     WARNING: plugin requires additional permissions     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
* java.io.FilePermission \\.\pipe\* read,write
* java.lang.RuntimePermission accessClassInPackage.com.sun.activation.registries
* java.lang.RuntimePermission getClassLoader
* java.lang.RuntimePermission setContextClassLoader
* java.lang.RuntimePermission setFactory
* java.net.SocketPermission * connect,accept,resolve
* java.security.SecurityPermission createPolicy.JavaPolicy
* java.security.SecurityPermission getPolicy
* java.security.SecurityPermission putProviderProperty.BC
* java.security.SecurityPermission setPolicy
* java.util.PropertyPermission * read,write
See http://docs.oracle.com/javase/8/docs/technotes/guides/security/permissions.html
for descriptions of what these permissions allow and the associated risks.


Continue with installation? [y/N]y
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@        WARNING: plugin forks a native controller        @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
This plugin launches a native controller that is not subject to the Java
security manager nor to system call filters.


Continue with installation? [y/N]y
Elasticsearch keystore is required by plugin [x-pack-security], creating...
-> Installed x-pack with: x-pack-core,x-pack-deprecation,x-pack-graph,x-pack-logstash,x-pack-ml,x-pack-monitoring,x-pack-security,x-pack-upgrade,x-pack-watcher

③重启elasticsearch

Exception in thread "main" org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /usr/local/elk/elasticsearch/config/elasticsearch.keystore
Likely root cause: java.nio.file.AccessDeniedException: /usr/local/elk/elasticsearch/config/elasticsearch.keystore

原因是刚才安装x-pack插件时,使用的root权限安装的,执行elasticsearch-plugin remove x-pack移除插件,并将elasticsearch/conf 下的elasticsearch.keystore文件和 x-pack文件夹删掉，切换es用户,重新安装就可以了
④重启之后访问elasticsearch就会出现以下页面,让你输入账号密码,不能再直接登入了。

⑤设置初始密码
执行以下命令,输入y之后,会设置elastic，kibana，logstash_system 三个用户密码,为了方便使用,将其全部设置为123456为elastic用户设置密码后，引导程序密码不再有效; 你不能再次运行该命令。,之后可以从Kibana中的管理>用户 UI 更新密码或使用安全用户API。

bin/x-pack/setup-passwords interactive

⑥再次登录elasticsearch
账号为：elastic密码为刚才自己设置的值,然后就可以看到之前登录之后看到的页面了。

在Logstash上安装X-Pack
1.联网安装方式

bin/logstash-plugin install x-pack

2.如果你想在没有互联网的机器上安装X-Pack，先下载对应的x-pack版本zip包,然后执行以下操作

bin/logstash-plugin install file:///path/to/file/x-pack-6.2.1.zip

采用第二种方式
将刚才上传到Elasticsearch上的安装包,上传一份到logstash服务器
①执行下面命令安装

bin/logstash-plugin install file:///usr/local/software/x-pack-6.2.1.zip

②配置logstash.yml
具体监视文档,参考官网：https://www.elastic.co/guide/en/logstash/current/configuring-logstash.html

xpack.monitoring.elasticsearch.url: ["http://172.20.1.187:9200"]
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: "123456"
#节点名称用来区分不同的logstash节点，默认为主机名,虚拟机一般都是localhost
node.name: node1
http.host: "172.20.1.188"

注意: 
1. :是英文的冒号,不要写成中文的冒号
2.elasticsearch密码是字符串
3.node.name默认为主机名，http.host 默认为127.0.0.1 我的几台虚拟机主机名都是localhost,导致两个节点监视混在一起了。所以要修改这两个值用来区分不同的logstash主机。
③配置logstash.conf，添加elasticsearch账号密码，注意，账号密码是字符串类型

output {


   elasticsearch {
    hosts => ["http://172.20.1.187:9200"]
    #默认使用[@metadata][beat]来区分不同的索引,也就是filebeat中配置的index字段
    #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #我使用自定义fields字段来区分不同的索引
    index => "%{[fields][log_source]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "123456"
  }


}

给Elasticsearch安装好X-Pack插件之后,已经启动中的logstash控制台就已经出现以下日志,连接不上Elasticsearch,所以要配置Elasticsearch的账号和密码

[2018-03-19T22:08:30,428][INFO ][logstash.outputs.elasticsearch] Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://172.20.1.187:9200/, :path=>"/"}
[2018-03-19T22:08:30,436][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://172.20.1.187:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'http://172.20.1.187:9200/'"}

④重新启动logstash,成功

[2018-03-20T16:28:28,557][INFO ][logstash.pipeline        ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0x7a7e7991 sleep>"}
[2018-03-20T16:28:28,590][INFO ][org.logstash.beats.Server] Starting server on port: 5044
[2018-03-20T16:28:28,748][INFO ][logstash.agent           ] Pipelines running {:count=>2, :pipelines=>[".monitoring-logstash", "main"]}
[2018-03-20T16:28:28,774][INFO ][logstash.inputs.metrics  ] Monitoring License OK

在Kibana上安装X-Pack
1.联网安装方式

bin/kibana-plugin install x-pack

2.如果你想在没有互联网的机器上安装X-Pack，先下载对应的x-pack版本zip包,然后执行以下操作

bin/kibana-plugin install file:///path/to/file/x-pack-6.2.1.zip

采用第二种方式
将刚才上传到Elasticsearch上的安装包,上传一份到Kibana服务器
①执行下面命令安装

bin/kibana-plugin install file:///usr/local/software/x-pack-6.2.1.zip

②配置kibana.yml添加以下属性

elasticsearch.username: "elastic"
elasticsearch.password: "123456"

③重启kibana,输入账号密码登录

④增加一个新用户、修改用户密码等。这些在kibana的图形UI上就可以完成。

⑤节点的监控


启用和禁用X-Pack功能
默认情况下，所有X-Pack功能都已启用。您可以启用或禁用特定的X-Pack功能elasticsearch.yml，kibana.yml以及logstash.yml 配置文件。

设置	描述
xpack.graph.enabled	设置为 false 禁用X-Pack图形功能。
xpack.ml.enabled	设置为 false 禁用X-Pack机器学习功能。
xpack.monitoring.enabled	设置为 false 禁用X-Pack监视功能。
xpack.reporting.enabled	设置为 false 禁用X-Pack报告功能。
xpack.security.enabled	设置为 false 禁用X-Pack安全功能。
xpack.watcher.enabled	设置 false 为禁用Watcher。

有关每个配置文件中存在哪些设置的更多信息，请参阅  X-Pack设置 。