centos环境下部署ELK

ELK是一种用于处理日志数据和分析的开源软件套件，由Elasticsearch、Logstash和Kibana组成。在centos环境下部署ELK需要以下步骤：
1.安装Java环境
ELK需要使用Java环境，因此需要先安装Java环境。可以使用以下命令安装：
sudo yum install java
2.安装Elasticsearch
Elasticsearch是一个分布式搜索和分析引擎，用于存储和查询数据。可以使用以下步骤安装Elasticsearch：
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo vi /etc/yum.repos.d/elasticsearch.repo
复制以下文本到elasticsearch.repo文件中：
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存并关闭文件后，使用以下命令安装：
sudo yum install elasticsearch
3.配置Elasticsearch
安装完成后，需要编辑Elasticsearch配置文件/etc/elasticsearch/elasticsearch.yml。在该文件中，可以设置Elasticsearch监听的IP地址和端口等参数。例如，可以添加以下内容：
network.host: 0.0.0.0
http.port: 9200
保存并关闭文件后，使用以下命令启动Elasticsearch：
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

sudo systemctl status elasticsearch --查看服务运行日志
bootstrap check failure [1] of [1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
这个问题通常是因为在Elasticsearch中使用了默认的发现设置，不适合生产环境使用。您需要根据您的具体环境配置至少一个发现设置。
以下是解决问题的步骤：
1.打开 Elasticsearch 配置文件 (/etc/elasticsearch/elasticsearch.yml)。
2.找到以下参数之一：discovery.seed_hosts, discovery.seed_providers 或 cluster.initial_master_nodes。
3.配置至少一个参数。例如，您可以在配置文件中添加以下行以设置discovery.seed_hosts：
discovery.seed_hosts: [“host”, “host”]

4.保存文件并重新启动 Elasticsearch。
5.验证 Elasticsearch 是否可以正常工作。您可以通过执行如下命令来检查 Elasticsearch 的健康状况：
curl -XGET ‘http://localhost:9200/_cluster/health?pretty=true’

如果 Elasticsearch 健康状态显示为 "green"或 “yellow”，则表示 Elasticsearch 可以正常工作。
希望这可以帮助您解决问题。
4.安装Logstash
Logstash是一个数据收集和转换工具，用于将各种数据源的数据发送到Elasticsearch进行分析和查询。可以使用以下步骤安装Logstash：
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo vi /etc/yum.repos.d/logstash.repo
复制以下文本到logstash.repo文件中：
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存并关闭文件后，使用以下命令安装：
sudo yum install logstash
5.配置Logstash
安装完成后，需要编辑Logstash配置文件/etc/logstash/conf.d/logstash.conf。在该文件中，可以设置Logstash如何处理数据。例如，可以添加以下内容：
input {
file {
type => “syslog”
path => [ “/var/log/messages” ]
}
}
filter {
if [type] == “syslog” {
grok {
match => { “message” => “%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?: %{GREEDYDATA:syslog_message}” }
}
date {
match => [ “syslog_timestamp”, “MMM d HH:mm:ss”, “MMM dd HH:mm:ss” ]
}
}
}
output {
elasticsearch {
hosts => [“localhost:9200”]
index => “logstash-%{+YYYY.MM.dd}”
}
}
以上配置示例展示了Logstash如何读取系统日志文件/var/log/messages并使用正则表达式解析其中的内容，然后将结果发送到Elasticsearch进行分析和查询。
6.启动Logstash
保存并关闭文件后，使用以下命令启动Logstash：
sudo systemctl start logstash
sudo systemctl enable logstash

Logstash.service缺失
如果您需要重新安装 Logstash 或手动创建服务文件，可以参考以下步骤：
重新安装 Logstash：
如果您使用的是 CentOS 或者 Red Hat 等基于 RPM 的 Linux 发行版，可以使用以下命令重新安装 Logstash：
sudo yum remove logstash
sudo yum install logstash

如果您使用的是 Ubuntu 或者 Debian 等基于 APT 的 Linux 发行版，可以使用以下命令重新安装 Logstash：
sudo apt-get remove logstash
sudo apt-get install logstash

手动创建服务文件：
如果您需要手动创建 Logstash 的服务文件，可以按照以下步骤操作：
在
/etc/systemd/system/ 目录下创建一个名为
logstash.service 的文件，并添加以下内容：
[Unit]
Description=logstash
After=network-online.target

[Service]
User=logstash
Group=logstash
ExecStart=/usr/share/logstash/bin/logstash --path.settings /etc/logstash/

[Install]
WantedBy=multi-user.target

这个服务文件假设 Logstash 的安装路径为 /usr/share/logstash，配置文件路径为 /etc/logstash。您可以根据实际情况进行修改。
保存该文件后，执行以下命令重新加载 systemd 的配置文件：
sudo systemctl daemon-reload

最后执行以下命令启动并开机自启动 Logstash 服务：
sudo systemctl start logstash
sudo systemctl enable logstash

通过以上步骤，应该能够重新安装 Logstash 或手动创建服务文件，并正确启用 Logstash 服务。
7.安装Kibana
Kibana是一个用于可视化和分析数据的Web界面，可以将Elasticsearch中的数据可视化并提供一些分析功能。可以使用以下步骤安装Kibana：
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo vi /etc/yum.repos.d/kibana.repo
复制以下文本到kibana.repo文件中：
[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存并关闭文件后，使用以下命令安装：
sudo yum install kibana
8.配置Kibana
安装完成后，需要编辑Kibana配置文件/etc/kibana/kibana.yml。在该文件中，可以设置Kibana监听的IP地址和端口等参数。例如，可以添加以下内容：
server.host: “0.0.0.0”
server.port: 5601
elasticsearch.hosts: [“http://localhost:9200”]
保存并关闭文件后，使用以下命令启动Kibana：
sudo systemctl start kibana
sudo systemctl enable kibana
9.访问Kibana
现在可以通过http://服务器IP地址:5601访问Kibana。在Kibana的Web界面中，可以配置和运行各种查询和分析操作，以便对Elasticsearch中的数据进行可视化和分析。
以上就是在centos环境下部署ELK的全部步骤。