Elasticsearch 安装 X-pack

X-Pack是Elastic Stack扩展功能，提供安全性，警报，监视，报告，机器学习和许多其他功能。 ES7.0+之后，默认情况下，当安装Elasticsearch时，会安装X-Pack，无需单独再安装。

1. ES集群配置（非集群可以跳过1.1生成证书步骤）

1.1 生成证书

以3台服务器的集群为例。在服务器1（任选一台服务器生成证书就行）bin目录下执行以下命令生成两个证书：

./elasticsearch-certutil ca
./elasticsearch-certutil cert --ca elastic-stack-ca.p12

两条命令一路回车即可，不需要给秘钥再添加密码。执行完以后会生成两个证书，证书在安装目录bin目录的上一级；

将两个证书移动到安装目录的config目录下（非config目录会报错）；

将服务器1上的两个证书复制到另外两个ES服务器的config目录下；

其实生成证书这个步骤很好理解，ES集群之间需要进行数据同步，当给ES集群设置密码以后，ES集群的各服务器之间互相认可对方，证书就是这个作用。

1.2 修改elasticsearch.yml（位于安装目录config下）

在elasticsearch.yml中新增如下配置：

xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
# 非集群不用增加下面三行
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/local/elasticsearch-7.6.2/config/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/local/elasticsearch-7.6.2/config/elastic-certificates.p12

• xpack.security.enabled：表示开启xpack认证机制。
• xpack.security.transport.ssl.enabled：这条如果不配，es将起不来，会报如下错误:Transport SSL must be enabled if security is enabled on a [basic] license. Please set [xpack.security.transport.ssl.enabled] to [true] or disable security by setting [xpack.security.enabled] to [false]

1.3 重启ES服务器

依次重启3台服务器，生产环境ES集群不能停止服务，所以我们采用每次重启一台，切不可全部停止。

步骤1.3重启服务器一定要在步骤1.4设置ES账号密码之前。要不然1.4设置密码会失败。

1.4为ES内置账号设置密码

在服务器1（挑一台服务器执行即可，不需要每台服务器都执行）上ES的bin目录下执行如下命令设置密码：

ES内置elastic、apm_system、logstash_system、kibana等内置用户，需要分别为这些账户设置密码，密码中不要包含@符号，有坑。需要记住自己设置的密码，后续过程需要使用。

# interactiv手动设置密码
./elasticsearch-setup-passwords interactive

我这里把所有内置用户的密码全部设置成了：123456 

 也可使用以下命令设置（自动生成密码）：

# 自动生成密码
./elasticsearch-setup-passwords auto

如果在设置密码的过程中报错，重新执行此命令再设置一次即可，不可跳过报错。

设置完账号密码以后，在命令行中执行如下命令验证一下账号密码是否设置成功：

curl -XGET -u elastic 'http://192.168.31.104:9200/_xpack/security/user?pretty'

若出现提示输入elastic账户的密码，则账号密码设置成功。

可使用如下方式测试密码是否设置成功：

curl 192.168.31.104:9200 -u elastic

2. 配置kibana连接

开启了安全认证之后，kibana连接es以及访问es都需要认证。

变更kibana的配置，一共有两种方法，一种明文的，一种密文的。

2.1 明文配置

在kibana.yml文件中新增配置：

server.port: 5601
server.host: "0.0.0.0"
server.name: "192.168.31.105"
elasticsearch.hosts: ["http://192.168.31.104:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"

由于加入了下面两行，表示是明文配置。但是建议使用密文配置，可参考步骤2.2
elasticsearch.username: "kibana"
elasticseacr.password: "kibana_passwd" 

• elasticsearch.username：连接es的用户名。
• elasticsearch.password：连接es的密码。
• xpack.reporting.encryptionKey：如果不添加这条配置，将会报错 Generating a random key for xpack.reporting.encryptionKey. To prevent pending reports from failing on restart, please set xpack.reporting.encryptionKey in kibana.yml。
• xpack.security.encryptionKey：如果不配置这条，将会报错 Generating a random key for xpack.security.encryptionKey. To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in kibana.yml。

2.2 设置账户密码（密文配置）

使用这种密文的方式进行认证，认证之前，需要首先将用户名密码保存到内置的ketstore里。在bin目录下执行：

   ./kibana-keystore --allow-root create
   # 输入1.4中设置的账户：elastic
   ./kibana-keystore --allow-root add elasticsearch.username
   # 输入1.4中设置的elastic账户的密码
   ./kibana-keystore --allow-root add elasticsearch.password

执行如上三条命令，用户名输入时填写 elastic，密码输入时填写对应密码，接着调整kibana的配置，删除elasticsearch.username和elasticsearch.password：

server.port: 5601
server.host: "0.0.0.0"
server.name: "192.168.31.105"
elasticsearch.hosts: ["http://192.168.31.104:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"

2.3 重启Kibana

然后重启kibana即可访问，访问的时候使用elastic的用户密码登入，将是全局管理权限，如果需要创建kibana的只读用户，则可以通过管理–用户–新建用户，对用户进行角色授权即可。  

kibana进程查找命令：netstat -tunlp|grep 5601，找到进程号之后 kill 掉。

启动命令：./kibana --allow-root &

3.Logstash配置

3.1 修改logstash.yml

logstash.yml（位于安装目录的 config/ 下）文件中新增如下配置：

xpack.monitoring.enabled: true
# 步骤1.4中设置的账户logstash_system为ES的内置账户
xpack.monitoring.elasticsearch.username: "logstash_system"
# logstash_system 账号对应的密码
xpack.monitoring.elasticsearch.password: "123456"
# elasticsearch 主机ip
xpack.monitoring.elasticsearch.hosts: ["http://192.168.31.104:9200"]

logstash_system为ES的内置账户，只有监控权限，用于心跳检测ES服务器的状态。此账户权限非常小，所以这里密码采用明文写在配置文件也不要紧。 

3.2设置账户密码

在bin目录下执行：

# 执行后 选Y
./logstash-keystore create
# 输入1.4中设置的账户：elastic，这里不要使用logstash_system这个账号，这个账号没有增删改索引的权限
./logstash-keystore add ES_USER 
# 输入1.4中设置的elastic账户的密码
./logstash-keystore add ES_PWD

3.3修改conf文件

修改logstash的配置文件，一般是自己新增的配置文件，位于config文件夹下。

在output模块中新增账号，密码

output {
    elasticsearch {
      action => "%{[@metadata][action]}"
      hosts => ["ip1:9200", "ip2:9200", "ip3:9200"]
      index => "demo_index"
      document_id => "%{id}"
      # 新增如下两行：采用密文配置，要使用明文可自行查看官方文档
      user => "${ES_USER}"
      password => "${ES_PWD}"
    }
}

3.4重启Logstash

重启后观察启动日志，有无ERROR报错，无ERROR即正常。或者验证数据有没有通过Logstash同步到ES上面。到这里ELK就全部配置完成~

4.验证集群状态

在服务器中执行如下命令，验证ES集群状态：

# curl -XGET -u ${username}:${pwd} http://${ip}:9200/_cluster/health?pretty
 curl -XGET -u elastic:123456 http://192.168.31.104:9200/_cluster/health?pretty

集群状态为green就大功告成。如果为yellow就稍等一会，说明有副本分片还未恢复。如果集群状态为red，说明有主分片未恢复，需要去查看是否有ES服务器还未重启成功。

5.Java代码修改配置

5.1 RestHighClient配置

final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
/*设置账号密码*/
credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("username","password"));
/*创建rest client对象*/
RestClientBuilder builder = RestClient.builder(new HttpHost(127.0.0.1, 9200))
                .setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
                    @Override
                    public HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpAsyncClientBuilder) {
                        return httpAsyncClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
                    }
                });
        client = new RestHighLevelClient(builder);

5.2 SpringBoot自带的ES连接客户端

在项目配置文件中ES直接配置上username，password即可。

参考文档：Elasticsearch7.x配置xpack实战_elasticsearch xpack_普通网友的博客-CSDN博客