基于Centos7通过软件包方式搭建ELK分析平台

 

 

ELK应用场景

1、分布式部署项目，需要收集日志。

2、微服务架构项目，收集各个服务的日志。

3、大数据行业。

ELK组件在大数据运维系统中，主要可解决的问题如下：

日志查询，问题排查，上线检查

服务器监控，应用监控，错误报警，Bug管理

性能分析，用户行为分析，安全漏洞分析

 

基本信息：centos7

虚拟机IP：192.168.1.8

预制操作：

1.vmvare安装之后，系统自带jdk8,卸载jdk8，安装java11.

删除系统中所有的java环境：

删除系统中所有的java:rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

安装java11:

yum -y install java-11-openjdk

查看java环境变量：

2.创建es用户,es组，赋予sudo权限

授予es sudoer权限

vim /etc/sudoers

3.官网下载ELK三个组件的安装包，这里我选择7.2.0版本

下载三个组件安装包，放在/home/es/下面

elasticsearch安装：

切换es用户，解压elasticsearch

更改所属组用户为es 

 修改elasticsearch的配置文件

 

修改另外三个配置文件

sudo vim /etc/security/limits.conf

在最后添加

sudo vim /etc/sysctl.conf

执行 sudo sysctl -p

 

再修改这个文件内容

 关闭防火墙与selinux，重启一下，然后运行

浏览器访问192.168.1.8:9200

出现这个 说明安装成功

kibana安装：

解压 压缩包

编辑配置文件

 

重启一下虚拟机

先启动elasticsearch，再启动kibana

 

浏览器访问5601端口

logstash安装：

解压安装包

 

配置logstash文件：

启动logstash

手工尝试输入hello,有回显，说明安装成功

 

 日志分析：

1.手工导入access.log分析

点击“从日志文件上传数据”

2.点击“选择或者拖放文件”

 3.往下拉，选择“导入”

4.起个名字“test”，点击“导入”

5.导入成功，点击“查看索引” 

 

6.可以看到正确分析日志

 

 2.安装filebeat代理监控日志

 1.点击添加日志数据

 2.选择系统日志

 3.下载安装filebeat安装包

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.2.0-x86_64.rpm

sudo rpm -vi filebeat-7.2.0-x86_64.rpm

 4.编辑配置

修改 /etc/filebeat/filebeat.yml 以设置连接信息：

5.启用和配置system模块

sudo filebeat modules enable system

6.启动filebeat

sudo filebeat setup

sudo service filebeat start

 7.检查数据

8.适当修改一下时间

可以 正确看到数据