centos7.9环境安装kibana-8.8.2 logstash-8.8.2 elasticsearch-8.8.2 filebeat-8.8.2版本收集nginx日志

已于 2024-04-26 11:17:30 修改
阅读量600 收藏 2
点赞数
分类专栏： elk 文章标签： elasticsearch nginx 大数据
于 2023-07-10 17:17:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BY_xiaopeng/article/details/131576135
版权

一、环境准备

1.架构图

在这里插入图片描述

2.环境准备

主机操作系统安装软件ip
node01CentOS7.9nginx filebeat-8.8.2172.11.0.90
node02CentOS7.9logstash-8.8.2172.11.0.89
node03CentOS7.9elasticsearch-8.8.2 kibana-8.8.2172.11.0.88

二、节点node01安装nginx和filebeat-8.8.2

1.安装nginx

yum -y install epel-release
yum install -y nginx
systemctl start nginx

查看nginx 日志：

cat /var/log/nginx/access.log
192.168.10.2 - - [06/Jul/2023:13:37:30 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58" "-"
192.168.10.2 - - [06/Jul/2023:13:37:31 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58" "-"
192.168.10.2 - - [06/Jul/2023:13:37:31 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58" "-"
192.168.10.2 - - [06/Jul/2023:13:37:31 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58" "-"

2.安装filebeat-8.8.2

官方地址:链接

  • 下载安装公开签名秘钥：
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
  • 配置RPM repo
cd /etc/yum.repos.d/
vim elastic.repo  
#添加以下内容
[elastic-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
  • 安装filebeat-8.8.2
yum install -y filebeat-8.8.2
cd /etc/filebeat/
mv filebeat.yml filebeat.yml.bak
vim filebeat.yml
#添加以下内容
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  fields:
    nginx: true
  fields_under_root: true

output.logstash:
  hosts: ["172.11.0.89:5044"]
  • 启动filebeat-8.8.2
systemctl start filebeat
systemctl enable filebeat
查看filebeat运行是否正常：
systemctl status filebeat

三、节点node02安装logstash-8.8.2

官方地址:链接

  • 下载安装公开签名秘钥：
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  • 配置RPM repo
cd /etc/yum.repos.d/
vim logstash.repo
#添加如下内容
[logstash-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
  • 安装logstash-8.8.2
yum install -y logstash-8.8.2
cd /etc/logstash/

vim logstash.yml
#添加如下内容
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
api.http.host: 172.11.0.89
api.http.port: 9600-9700
path.logs: /var/log/logstash

配置nginx日志收集：
vim conf.d/logstash-nginx.conf
input {
  beats {
    host => "0.0.0.0"
    port => 5044
  }
}

filter {
  if [fields][nginx] {
    grok {
      match => { "message" => '%{IPV4:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response} %{NUMBER:bytes} \"%{URIHOST:referrer}\" \"%{DATA:agent}\"' }
    }
  }
}

output {
  elasticsearch {
    hosts => ["172.11.0.88:9200"]
    index => "nginx-%{+YYYY.MM.dd}"
    cacert => "/etc/logstash/certs/http_ca.crt"
    user => "elastic"
    password => "zHRLCoPlOQXk3Fq1D8i9"
    ssl => true
    ssl_certificate_verification => true
  }
  stdout { codec => rubydebug }
}
配置证书：
将elasticsearch-8.8.2的证书拷到本地文件夹：
scp -r root@172.11.0.88:/etc/elasticsearch/certs/http_ca.crt ./
修改证书权限：
chmod 644 http_ca.crt
查看：
ls
#certs文件夹问证书文件http_ca.crt
certs  conf.d  jvm.options  log4j2.properties  logstash-sample.conf  logstash.yml  pipelines.yml  startup.options

ll -h certs
total 4.0K
-rw-r--r--. 1 root root 1.9K Jul  5 13:34 http_ca.crt
  • 启动logstash-8.8.2
systemctl start logstash
systemctl enable logstash
查看运行情况：
systemctl status logstash

四、节点node03安装elasticsearch-8.8.2

4.1 安装准备：

vim /etc/sysctl.conf
#添加如下内容：
vm.max_map_count=262144
sysctl -p /etc/sysctl.conf
vm.max_map_count = 262144

vim /etc/security/limits.conf
#添加如下内容：
 *        soft    nofile          65536
 *        hard    nofile          65536
 *        soft    nproc           4096
 *        hard    nproc           4096

4.2安装elasticsearch-8.8.2

  • 下载安装公开签名秘钥
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  • 配置RPM repo
vim es.repo
[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md
  • 安装elasticsearch-8.8.2
yum install --enablerepo=elasticsearch elasticsearch-8.8.2
#输入一下内容
Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured.

The generated password for the elastic built-in superuser is : zHRLCoPlOQXk3Fq1D8i9

If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster.

You can complete the following actions at any time:

Reset the password of the elastic built-in superuser with
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.

Generate an enrollment token for Kibana instances with
 '/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.

Generate an enrollment token for Elasticsearch nodes with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.

-------------------------------------------------------------------------------------------------
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
 sudo systemctl daemon-reload
  • 修改配置文件
cd /etc/elasticsearch
vim elasticsearch.yml
#配置如下：
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 172.11.0.88
http.port: 9200
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["node03"]
http.host: 0.0.0.0
  • 运行elasticsearch-8.8.2
systemctl daemon-reload   
systemctl start elasticsearch    //启动服务
systemctl enable elasticsearch  //设置服务开机自启
systemctl status elasticsearch  //查看服务运行状态
  • 检查elasticsearch是否运行情况：
curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic https://172.11.0.88:9200
Enter host password for user 'elastic':
{
  "name" : "node03",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "CGyyt3xhTTOvAnywgMuEUQ",
  "version" : {
    "number" : "8.8.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "98e1271edf932a480e4262a471281f1ee295ce6b",
    "build_date" : "2023-06-26T05:16:16.196344851Z",
    "build_snapshot" : false,
    "lucene_version" : "9.6.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

五.节点node03安装kibana-8.8.2

  • 下载安装公开签名秘钥
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  • 配置RPM repo
vim kibana.repo
#添加如下内容：
[kibana-8.x]
name=Kibana repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
  • 安装kibana-8.8.2
yum install kibana -y
  • 配置kibana-8.8.2
cd /etc/kibana/
vim kibana.yml
#修改如下内容：
server.port: 5601
server.host: "0.0.0.0"
  • 运行kibana-8.8.2
systemctl enable kibana    //服务开机自启
systemctl start kibana     //开启服务
systemctl status kibana    //查看服务状态

在网页上输入http://172.11.0.88:5601/，刚开始会提示输入Enrollment token:
在这里插入图片描述
token获取：
安装elasticsearch其实有提示;

Generate an enrollment token for Kibana instances with
 '/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.

/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana
eyJ2ZXIiOiI4LjguMiIsImFkciI6WyIxNzIuMTEuMC44ODo5MjAwIl0sImZnciI6IjJiYWYwNTg2NDQxOWJkMTlmZTA0OTZlNzI0NTdhYmYzMDU3ZmI2YjUwOTcxZTAyMjE3NzMzNmFjOGNjMWFjNmIiLCJrZXkiOiI3ZlBQUG9rQkx6WndScURsMHdLWDpQV285WHk0b1NqaUpLcHN4WWJib1h3In0=

拷贝token到网页，点击Configure Elastic ，然后会提示输入Verification required code。
在这里插入图片描述
获取code:

/usr/share/kibana/bin/kibana-verification-code

输入后就可以进入kibana页面了，就可以导入sample数据进行探索了：
在这里插入图片描述
在这里插入图片描述
配置nginx数据视图：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

六.调试：

调试logstash

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash-messages.conf
闫利朋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos7环境Elasticserach 8.2+Kibana 8.2版本安装及远程访问
vartcn的博客
06-03 2483
本文主要基于Centos7 Linux系统使用rpm方式安装Elasticsearch和kibana 8.2版本并且配置实现远程客户机上访问Kibana
Docker部署ELK 8.8.2（3）-Beats Filebeat使用
weixin_48244640的博客
07-07 863
Docker部署ELK 8.8.2，ELK介绍，Elasticsearch、Kibana、Logstash、Filebeat安装及使用。
KIBANA的安装教程（超详细）
最新发布
2301_81547508的博客
05-31 2440
kibana的介绍 和安装教程
Linux centOS 7部署ELK（elasticSearch、logstash、kibana）
upward
03-15 2179
Linux CentOS 7部署ELK
Elasticsearch和Kibana的安全性配置
qq_59376042的博客
09-03 598
1.es配置X-pack cd到config下面，用vim elasticsearch.yml打开es配置文件，在最后添加 xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.transport.ssl.verification_mode: certificate xpack.security.transport.ssl.keystore.path: elastic...
es（Elasticsearch）客户端Kibana安装使用（02Kibana安装篇）
weixin_35815479的博客
08-07 2053
Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。Elasticsearch、Logstash和Kibana这三个技术就是我们常说的ELK技术栈，可以说这三个技术的组合是大数据领域中一个很巧妙的设计。一种很典型的MVC思想，模型持久层，视图层和控制层。....
centos7.9离线安装tigervnc-server-1.8.0-21.el7.x86-64.rpm(推荐)
07-07
centos7.9离线安装tigervnc-server-1.8.0-21.el7.x86_64.rpm(推荐)
centos7.9 gcc和gcc-c++所需依赖
12-22
在CentOS 7.9操作系统中，安装GCC（GNU Compiler Collection）和GCC-C++是进行C和C++编程的基础。GCC是一套集成了C、C++、Fortran、Objective-C等语言编译器的工具集合，而GCC-C++则专注于C++的编译。在离线环境下...
kibana-7.9.3-linux-x86_64.rar
04-07
2. Elasticsearch：Kibana需要与其兼容版本的Elasticsearch协同工作，因此你需要先安装Elasticsearch 7.9.3。 3. 硬件资源：内存至少2GB，硬盘空间根据数据量而定。 二、下载与解压 首先，从官方网站下载Kibana 7.9...
PostGreSQL安装部署系列：Centos 7.9 安装指定PostGreSQL-15版本数据库
02-02
### PostGreSQL在Centos 7.9上的安装与部署 #### 一、引言 在开始学习任何数据库之前，最重要的第一步就是安装部署一个可供学习和测试的环境。选择一个在业界广泛使用的操作系统版本，以及一个成熟稳定的数据库...
qcow2格式，openstack常用的 centos7.9-2211镜像
04-20
qcow2格式，openstack， centos7.9-2211，centos7.9镜像，云镜像，通用cloud-image，和阿里云centos镜像类似，是vda整合系统，可以用 resize 热扩容硬盘和文件系统。
hue-4.10.0_Centos7.9安装部署手册.rar
07-27
《Hue 4.10.0 在 CentOS 7.9 上的安装与部署详解》 Hue 是一个开源的数据浏览和交互工具，主要用于 Hadoop 生态系统，它提供了直观的 Web 界面，使得用户无需编写代码即可进行数据查询、分析和管理。本篇将详细...
CentOS-7.9-x86_64-Minimal-2009
03-23
CentOS-7.9-x86_64-Minimal-2009 官方镜像
WSL CentOS 7.9-2111（win11 WSL 上安装 CentOS 7 系统）
07-26
"WSL CentOS 7.9-2111（win11 WSL 上安装 CentOS 7 系统）" 这个标题指的是在Windows 11操作系统中，利用Windows Subsystem for Linux (WSL) 技术安装CentOS 7.9-2111版本的过程。WSL是微软为Windows提供的一种轻量...
centos7.6离线安装docker-ce-19.03、nvidia-docker2
08-03
离线环境下，在centos7.6系统上安装docker-ce-19.03，nvidia-docker2.4版本，其中docker-ce-19.03在docker-local.tar压缩文件里面，nvidia-docker2在nvidia-docker2.zip文件中。 具体安装流程如下： 1.安装docker ...
elasticsearch8.0和kibana8.0安装
_紫陌纤尘的博客
02-25 6527
elasticsearch8.0安装1.安装2.启动elasticsearch生成令牌kibana验证登录elasticsearch 前言 8.0中新功能使用8.0版本的最好先看下。 1.安装 docker pull elasticsearch:8.0.0 docker pull kibana:8.0.0 2.启动 启动elasticsearch、kibana 可以参考另一篇博客[docker安装kibana]、docker安装elasticSearch和head插件(https://blog.csd
Linux之Elasticsearch和kibana用户验证
月生的静心苑
08-25 2954
elasticsearch和kibana默认情况下均未使用用户登录验证，因为kibana对elasticsearch上索引具备增删改查的能力，为了数据安全我们需要配置用户验证。
elasticsearch8.2与kibana8.2版本安装过程
weixin_45592424的博客
08-14 869
安装记录bug
Kibana 中的身份验证-单点登录实现必读
隔壁老瓦的专栏
08-15 1669
如果访问令牌和刷新令牌都已过期（例如，在 24 小时不活动之后），Kibana 将启动新的“握手”并将用户重定向到外部身份验证提供程序（SAML 身份提供程序或 OpenID Connect 提供程序），具体取决于 Elasticsearch 和外部身份验证提供程序配置，可能会要求用户重新输入凭据。如果您将 Kibana 嵌入到支持使用 SAML、OpenID Connect、Kerberos 或 PKI 的单点登录 (SSO) 的网站中，强烈建议将 Kibana 配置为 SSO 设置的一部分。...
centos7.9如何安装docker-compose
03-11
您可以按照以下步骤在 CentOS 7.9 上安装 Docker Compose： 1. 首先，确保您的系统已经安装了 Docker。如果没有，请先安装 Docker。 2. 打开终端并输入以下命令以下载 Docker Compose： ``` sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose ``` 3. 授予 Docker Compose 可执行权限： ``` sudo chmod +x /usr/local/bin/docker-compose ``` 4. 验证 Docker Compose 是否已成功安装： ``` docker-compose --version ``` 如果成功安装，将显示 Docker Compose 的版本号。 希望这可以帮助您安装 Docker Compose。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值