快速搭建ELK 集群日志收集工具Centos7 +Logstash +Elasticsearch+Kibana 环境

版权声明:廖圣平博客,未经博主允许不得转载。企鹅:1194008361 https://blog.csdn.net/qq_22823581/article/details/83626282

应用场景:
服务器集群,如果程序报错,不懂从哪一台服务器上查看日志;想更加直接了当的看到日志,什么服务器,什么错误。
学到什么
搭建一套适合分布式的日志收集系统,并且了解分布式应用日志收集的场景。
环境
崭新的一台centos7虚拟机;
介绍
介绍就算了, 搜得到这个的大概知道是干嘛的,不是太了解的网上再看看。
开始吧
重要
对了logstash前提 要安装jdk 环境java 环境

官网:点击进入

在这里插入图片描述

下载到分别下载三个程序:Logstash +Elasticsearch+Kibana
下载到目录 /system (自定义)

  1 .wget  下载连接;
  2. tar -xzvf 解压文件;
  3. unzip 解压文件;

一, 安装Logstash

在当前目录
cd config
vim logstash.conf
"/logs/*.log 标识你要采集的目录下的全部日志,以.log 后缀名的日志
hosts => “127.0.0.1:9200” 表示 要发送到Elasticsearch 的地址与端口,就是Elasticsearch 默认端口为:9200

input {
     file {
        type => "log"
        path => "/logs/*.log"
        start_position => "beginning"
    }
}

output {
  stdout {
   codec => rubydebug { }
  }

  elasticsearch {
    hosts => "127.0.0.1:9200"
    index => "log-%{+YYYY.MM.dd}"
  }
}

更多logstash配置 点击查看
logstash配置多个采集目录创建多个索引 点击查看1 点击查看2
启动Logstash :

cd bin

执行:

./logstash -f ../config/logstash.conf

会慢一点出现信息,稍等,可以切换一个ssh窗口执行下一步,理想的界面:
在这里插入图片描述
恭喜,logstash 已经完成

安装:Elasticsearch

这个其实也是ELK中的核心,启动的时候一定要注意,因为es不可以进行root账户启动,所以你还需要开启一个elsearch账户。
执行:

groupadd elsearch                   #新建elsearch组
useradd elsearch -g elsearch -p elasticsearch  #新建一个elsearch用户
chown -R elsearch:elsearch  ./elasticsearch    #指定elasticsearch所属elsearch组
su elsearch

启动:

cd bin/
./elasticsearch

理想状态:
在这里插入图片描述
启动的时候可能会报错
一般是报没有权限, chown -R elsearch:elsearch (你安装Elasticsearch 目录名字pwd) 就解决了

三 。Kibana 安装

cd config
vim kibana.yml

第一行添加:

elasticsearch.url: "http://localhost:9200"
server.host: 0.0.0.0

即可,你没有看错,就可以了。

cd bin
./kibana

理想的状态:
在这里插入图片描述

以上三个开启之后:
就来测试了

echo "hello liaosp" >> /logs/test.log

在logstash 界面理想的界面:
在这里插入图片描述

怎么在es里面判断有没有收录logstash 发过来的消息呢?

curl http://127.0.0.1:9200/_cat/indices?v

理想界面:
在这里插入图片描述
可以看到已经收录了logstash 发过来的信息。

最重要的是如何在kibana界面上看到信息。
我的是虚拟机,所以要配置一下vm:
在这里插入图片描述

电脑浏览器输入:127.0.0.2:5656 即可看到kibana
具体虚拟机访问kibana 点击查看

配置索引:
在这里插入图片描述
输入 log*
在这里插入图片描述
点击下一步

在主界面选择 log* 的索引即可看到刚刚的hello liaosp

在这里插入图片描述

廖圣平博客原创,整理
elasticsearch运行后外部访问不到问题访问虚拟机里面的服务,访问不到
php使用es做全文检索:点击查看点击查看2
elk 后台运行:点击查看
本博客:elk 开机自启动 点击跳转 推荐!!
Smile潇洒Tel博客:elk 开机自启动 点击查看

参考:
elastic 官网
一线码农博客

没有更多推荐了,返回首页