日志分析集群------EFK集群

kibana

ELK集群、日志中心集群

logstash：主要用来日志的搜集 / Filebeat

 logstash功能:
      搜集日志
      定义日志格式
      输出日志

ES部署

本地解析：

vi /etc/hosts

scp /etc/hosts es-2:/etc/hosts

es-1 

         安装wget

          wget jdk

        

         tar xf /root/jdk-8u121-linux-x64.tar.gz -C /usr/local/

         mv /usr/local/jdk-8u121 /usr/local/java

         vim /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH 

         source /etc/profile

        创建普通用户 ：useradd elsearch

         

         设定密码： 

          

          wget

         

         

         vim /usr/local/elasticsearch/config/elasticsearch.yml

         删掉原来的，复制笔记上的

         修改集群名字和发现功能      

        

   修改节点名字

  修改目录的权限：chown elsearch.elsearch /data -R

                               chown elsearch.elsearch /usr/local/elasticsearch -R

      vim 

增加最大内存映射数(永久添加)
[root@xingdian ~]# echo "vm.max_map_count=262144" >> /etc/sysctl.conf
[root@xingdian ~]# sysctl -p

启动和生成一个文件

ss -antpl

es-2

tar xf /root/jdk-8u121-linux-x64.tar.gz -C /usr/local/

         mv /usr/local/jdk-8u121 /usr/local/java

         vim /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH 

         source /etc/profile

设定密码： 

es-3

同上

安装kibana

另一台服务器

本地解析

上传kibana

cd /usr/local/kibana

vi /usr/local/kibana/config/kibana.yml

运行

反向代理

yum -y install nginx httpd-tools

修改配置文件

配置文件添加基于用户的信任登录

生成存储用户名和密码的认证文件。

重启nginx: systemctl restart nginx

验证时间，保证实时展示

ntpdate -b time1.aliyun.com

logstash部署(新机器、搜集日志功能)

本地解析（es-1）：搜集到的日志传到es-1

上传jdk

解压jdk

vi /etc/profile

jdk的环境

source /etc/profile

上传logstash

解压

改名

做软链接，方便直接调用

案例1：搜集日志

input {
    file {
      path => "/var/log/messages"      //指定要搜集的文件
      type => "system"                         //类型
      start_position => "beginning"       //从头开始
    }
}
output {

        elasticsearch {
           hosts => ["es-1:9200"]
           index => "system-%{+YYYY.MM.dd}"
        }
}

前台运行

logstash -f /opt/messages.conf

刷新elasticsearch插件，出现system-2023.10.09

kibana

案例2：数据的测试

logstash终端输入

logstash终端输出

案例3：把内容写到elasticsearch中

elasticsearch插件上刷新，出现新的索引

案例4：搜集多个数据源

vi /opt/file.conf

改：

执行

logstash -f /opt/file.conf

jobs

后台运行：logstash -f /opt/file.conf &

验证：

es插件中刷新

kibana的web界面中创建索引

auth和yum 

模拟数据：1、yum -y install sl   2、ssh localhost

nginx server（kibana端）:
修改 nginx server 的配置文件

log_format json '{"@timestamp":"$time_iso8601",'
'"@version":"1",'
'"client":"$remote_addr",'
'"url":"$uri",'
'"status":"$status",'
'"domain":"$host",'
'"host":"$server_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"referer": "$http_referer",'
'"ua": "$http_user_agent"'
'}';

重启nginx: systemctl restart nginx

cd /var/log/nginx

ls   产生json.log文件

搜集的配置文件：vi /opt/nginx.conf

后台运行

jobs   //查看

kibana的web界面，创建nginx-json

创建图表

nginx-json

设置x轴和y轴

save保存

添加过滤条件：

添加仪表盘

添加数据到kibana

es视频-5

web界面：nginx的指标

es节点终端(1-3)

切换到elsearsh用户下

切换到安装目录下

输y确认

es-2,es-3同上

另开一台服务器（或用kibana）:参考官方文档（nginx-logs---->rpm）

首先，保证时间一致

用作filebeat

上传 filebeat

安装filebeat

vi  /etc/filebeat/filebeat.yml

给做es-1的本地解析

查看filebeat的模块(安装完要重启es)

启用nginx模块（官方文档）

再次查看

手动添加：指定需要搜集日志的位置

注意：这台服务器需要有nginx

           curl localhost     //访问，让其产生日志

filebeat setup

让设置生效

systemctl restart filebeat

kibana的web界面

验证：