ELK服务搭建

ELK服务搭建

创建Elasticsearch服务

• 环境 Centos

这里是直接在服务器中创建es服务，没有使用docker部署服务是因为会出现莫名其妙的停止运行问题，应该是Java堆栈设置问题

#这里是使用的最新版，下载解压
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.11.3-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.11.3-linux-x86_64.tar.gz.sha512
shasum -a 512 -c elasticsearch-8.11.3-linux-x86_64.tar.gz.sha512 
tar -xzf elasticsearch-8.11.3-linux-x86_64.tar.gz
cd elasticsearch-8.11.3/ 
# 修改配置文件
cd config

elasticsearch.yml 文件配置

cluster.name: es-cluster
node.name: master
path.data: /home/elasticsearch/elasticsearch-8.11.3/data
path.logs: /home/elasticsearch/elasticsearch-8.11.3/logs
network.host: 127.0.0.1
http.host: 0.0.0.0
http.port: 9200
# 以下内容应该是自动生成
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["master"]

在文件jvm.options最后追加

-Xms2g
-Xmx2g

进入到bin文件夹下，./elasticsearch -d后台启动，浏览器输入https://ip:9200访问，正常是需要输入账户密码代表部署成功。

重置密码

在bin目录下，执行./elasticsearch-reset-password -u elastic获取密码，账户是elastic。

创建Kibana

docker部署

执行docker run --name kib01 -p 5601:5601 docker.elastic.co/kibana/kibana:8.11.2，版本可以自行选择8.11.3，在启动的时候会打印出一个六个数字如：110 021需要记住。

网站修改成中文

进入Kibana容器

echo i18n.locale: zh-CN >> config/kibana.yml

重启容器

登录

服务启动后在页面中访问http://ip:5601，首次登录需要连接es服务器，这里需要填es服务器生成的token。进入到es服务中bin文件夹下执行./elasticsearch-create-enrollment-token -f kibana即可获取，具体可以看kibana页面提示，输入token后执行下一步，需要填入刚刚生成的六个数字如: 110 021，在填写账户elastic以及es中生成的密码

创建Logstash

创建需要挂载的文件

mkdir /home/logstash
cd /home/logstash
mkdir config #配置文件
mkdir logs #上传到es的文件
mkdir pipeline #管道配置，定义文件怎么传输

配置jvm.options

config文件夹中的文件是把logstash容器中config的文件挪出来的
同样修改config文件夹下的jvm.options文件,添加

-Xms512m
-Xmx512m

添加http.p12证书

该文件夹中还有一个http.p12证书文件，因为es服务开启了ssl认证，所以需要使用es服务提供的证书才能访问，该文件在es服务的elasticsearch-8.11.3/config/certs路径下

配置logstash.conf

pipeline文件夹下定义了一个文件logstash.conf内容如下

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  file {
    path => "/usr/share/logstash/logs/*.log" #文件
    start_position => beginning #从开始除获取
    sincedb_path => "/usr/share/logstash/r_log.log" # 传输文件产生的日志信息
  }
}

output {
  elasticsearch {
    hosts => ["https://esip地址:9200"] # es地址
    index => "index_127_23" # es 索引名
    user => "elastic" # es 用户名
    password => "****************" # es 密码
    ssl_certificate_verification => true # ssl校验
    truststore => "/usr/share/logstash/config/http.p12" # 容器中的证书路径，刚刚的挂载路径
    truststore_password => "***********" # 证书密码
  }
}

证书密码获取方式，进入到es服务器bin文件夹中，执行

./elasticsearch-keystore list
./elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password

docker启动

  docker run --name logstash -dit \
  -v /home/logstash/config:/usr/share/logstash/config \
  -v /home/logstash/pipeline:/usr/share/logstash/pipeline \
  -v /home/logstash/logs:/usr/share/logstash/logs \
  docker.elastic.co/logstash/logstash:8.11.2

启动成功后在/home/logstash/logs文件夹下添加一些文件，注意要以.log结尾，为文件添加内容

kibana查看日志

最后：有使用kibana中提供的连接器的方式提取数据，但是没有成功，配置的步骤都是按照官方文档进行，连接器无报错，但是在Kibana中无法连接