CentOS 6.5搭建ELK环境ElasticSearch+Kibana+Logstash

最新推荐文章于 2024-05-18 19:03:28 发布
最新推荐文章于 2024-05-18 19:03:28 发布
阅读量5.8k 收藏 3
点赞数 1
分类专栏： ELK学习 文章标签： ELK 日志分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lee_Natuo/article/details/79031518
版权

CentOS 6.5搭建ELK环境

ELK工作流程

  • 多个独立的Agent(Shipper)负责收集不同来源的数据，一个中心Agent(Indexer)负责汇总和分析数据，在中心Agent前的Broker(使用Redis实现)作为缓冲区，中心Agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。

  • Shipper表示日志收集，使用LogStash收集各种来源的日志数据，可以是系统日志、文件、Redis、mq等等；

  • Broker作为远程Agent与中心Agent之间的缓冲区，使用Redis实现，一是可以提高系统的性能，二是可以提高系统的可靠性，当中心Agent提取数据失败时，数据保存在Redis中，而不至于丢失；

  • 中心Agent(Indexer)也是LogStash，从Broker中提取数据，可以执行相关的分析和处理(Filter)；

  • ElasticSearch用于存储最终的数据，并提供搜索功能；

  • Kibana提供一个简单、丰富的Web界面，数据来自于ElasticSearch，支持各种查询、统计和展示

机器部署

系统 IP 配置
CentOS 6.5 192.168.123.2 Logstash
CentOS 6.5 192.168.123.3 ES+Kibana

Logstash

（Logstash部署在IP为192.168.123.2的机器上。）

数据流

input|decode|filter|encode|output

安装和配置

1.安装Java环境

[root@localhost ~]# yum install java-1.8.0-openjdk
[root@localhost ~]# export JAVA_HOME=/usr/java
​
[root@localhost bin]# which java
/usr/bin/java

2.下载并安装GPG key

[root@localhost ~]# rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch

3.yum源配置

[root@localhost ~]# cat > /etc/yum.repos.d/logstash.repo <<EOF
[logstash-5.0]
name=logstash repository for 5.0.x packages
baseurl=http://packages.elasticsearch.org/logstash/5.0/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1
EOF
[root@localhost ~]# yum clean all

3.安装Logstash

[root@localhost ~]# yum install logstash

4.安装目录

[root@localhost ~]# whereis logstash
logstash: /etc/logstash /usr/share/logstash
​
​
/etc/logstash/conf.d   #配置文件目录，默认是空的，需要自己写
/usr/share/logstash/bin/logstash  #执行文件

5.编辑一个简单的配置文件

[root@localhost bin]# cd /etc/logstash/conf.d
[root@localhost bin]# vim 1.conf
​
#1.conf文件内容
​
input{
        stdin{}
}
output{
        stdout{}
}
​
################################
input插件stdin（标准输入）
output插件 stdout（标准输出）
/opt/logstash/bin/logstash 前台启动
提示：标准输入和标准输出的意思就是我们输入什么就会输出什么
​

将日志存储到ES中的配置： 

input {
  sdin {}
}
​
filter{
}
​
​
output{
    elasticsearch {
        hosts => ["192.168.123.3:9200"] 
        index => "logstash-%{+YYYY.MM.dd}"
    }
    stdout{
        codec => rubydebug
        }
}
​

6.运行测试

[root@localhost ~]# cd /usr/share/logstash/bin
​
[root@localhost ~]# ./logstash -e 'input{stdin{}}output{stdout{} }'
​
#-e参数表示执行，然后会发现终端在等待你的输入。没问题，敲入 hello,ichunqiu! ，回车，然后看看会返回什么结果。
​
​
结果：
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
hello,ichunqiu!
--- jar coordinate com.fasterxml.jackson.core:jackson-annotations already loaded with version 2.7.1 - omit version 2.7.0
--- jar coordinate com.fasterxml.jackson.core:jackson-databind already loaded with version 2.7.1 - omit version 2.7.1-1
Sending logstash logs to /var/log/logstash/logstash.log.
Pipeline main started
2017-12-16T13:23:56.586Z localhost.localdomain hello,ichunqiu!
2017-12-16T13:23:56.586Z localhost.localdomain hello,ichunqiu!
​
    

7.遇到的问题：

[root@localhost bin]# ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug} }'
​
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
--- jar coordinate com.fasterxml.jackson.core:jackson-annotations already loaded with version 2.7.1 - omit version 2.7.0
--- jar coordinate com.fasterxml.jackson.core:jackson-databind already loaded with version 2.7.1 - omit version 2.7.1-1
Logstash has a new settings file which defines start up time settings. This file is typically located in $LS_HOME/config or /etc/logstash. If you installed Logstash through a package and are starting it manually please specify the location to this settings file by passing in "--path.settings=/path/.." in the command line options {:level=>:warn}
Failed to load settings file from "path.settings". Aborting... {"path.settings"=>"/usr/share/logstash/config", "exception"=>Errno::ENOENT, "message"=>"No such file or directory - /usr/share/logstash/config/logstash.yml", :level=>:fatal}
解决方法：
[root@localhost bin]# whereis logstash
logstash: /etc/logstash /usr/share/logstash
[root@localhost bin]# cp -r /etc/logstash/logstash.yml /usr/share/logstash/config/logstash.yml

ElasticSearch

数据流

安装和配置

如果是在不同机器上安装，则需要像Logstash的步骤1一样配置好Java环境。

（本文在不同机器上部署，以下配置在IP为192.168.123.3的机器上进行。）

1.下载并安装GPG key

[root@localhost ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2.yum源配置

[root@localhost ~]# cat >/etc/yum.repos.d/elasticsearch.repo<<EOF
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages 
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos 
gpgcheck=1 
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch 
enabled=1 
EOF
[root@localhost ~]# yum clean all

3.安装ElasticSearch

[root@localhost ~]# yum install elasticsearch

4.安装目录

[root@localhost ~]# whereis elasticsearch
elasticsearch: /etc/elasticsearch /usr/share/elasticsearch
​
/etc/elasticsearch/elasticsearch.yml   #配置文件目录，默认是空的，需要自己写
/usr/share/elasticsearch/bin/elasticsearch  #执行文件

5.修改 limits.conf

#在结尾添加如下两行代码
[root@localhost ~]#vi /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
 
#检查
[root@localhost ~]# tail -2 /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

6.创建目录并授权

[root@localhost ~]# mkdir -p /data/es-data
[root@localhost ~]# chown -R elasticsearch.elasticsearch /data/es-data/

7.配置elasticsearch.yml

[root@localhost bin]# vim /etc/elasticsearch/elasticsearch.yml
​
cluster.name: elk-cluster           # 集群的名称
node.name: linux-node1              # 节点的名称 
path.data: /data/es-data            # 数据存储的目录（多个目录使用逗号分隔）
path.logs: /var/log/elasticsearch   # 日志路径 
bootstrap.mlockall: true            # 锁住内存，使内存不会分配至交换区（swap）
network.host:192.168.123.3         # 本机IP地址
http.port: 9200                     # 端口默认9200
#查看配置文件
[root@localhost bin]#  grep '^[a-z]' /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluster
path.data: /data/es-data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.123.3
http.port: 9200

8.启动ElasticSearch

[root@localhost elasticsearch]# /etc/init.d/elasticsearch start
​
正在启动 elasticsearch：OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
                                                           [确定]

8.检查启动

[root@localhost init.d]# ps -ef|grep elasticsearch
​
498       4094     1 42 22:46 ?        00:00:20 /usr/bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Djna.nosys=true -Des.path.home=/usr/share/elasticsearch -cp /usr/share/elasticsearch/lib/elasticsearch-2.4.6.jar:/usr/share/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch start -p /var/run/elasticsearch/elasticsearch.pid -d -Des.default.path.home=/usr/share/elasticsearch -Des.default.path.logs=/var/log/elasticsearch -Des.default.path.data=/var/lib/elasticsearch -Des.default.path.conf=/etc/elasticsearch
root      4142  1524  0 22:47 pts/0    00:00:00 grep elasticsearch

9.访问测试

#Linux下访问：
​
[root@localhost init.d]# curl 192.168.123.3:9200
{
  "name" : "node-1",
  "cluster_name" : "elk-cluster",
  "cluster_uuid" : "xJO564iaTpG7Z8WlaJ1x2Q",
  "version" : {
    "number" : "2.4.6",
    "build_hash" : "5376dca9f70f3abef96a77f4bb22720ace8240fd",
    "build_timestamp" : "2017-07-18T12:17:44Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.4"
  },
  "tagline" : "You Know, for Search"
}

windows下访问:

10.遇到的问题;

[root@localhost elasticsearch]# /etc/init.d/elasticsearch start
#运行该命令时失败

解决方法：
在错误提示的地方加空格。

11.安装Elasticsearch插件

  • Head

    • 插件作用：主要是做ES集群管理。 

[root@localhost init.d]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
-> Installing mobz/elasticsearch-head...
Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...
Downloading ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
Installed head into /usr/share/elasticsearch/plugins/head  #安装路径
​
​
#访问
在浏览器中访问地址：http://ip地址:9200/_plugin/head/

Kibana

安装和配置

1.下载并安装GPG Key:

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2.yum源配置

[root@localhost ~]# vim /etc/yum.repos.d/kibana.repo
​
[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
​
[root@localhost ~]# yum clean all

3.安装Logstash

[root@localhost ~]# yum install kibana

4.安装目录

[root@localhost ~]# whereis kibana
kibana: /opt/kibana/bin/kibana /opt/kibana/bin/kibana.bat

5.修改配置文件

[root@localhost ~]# vim /opt/kibana/config/kibana.yml
​
[root@abcdocker ~]# grep "^[a-Z]" /opt/kibana/config/kibana.yml
server.port: 5601               #端口，默认5601
server.host: "0.0.0.0"          #主机
elasticsearch.url: "http://192.168.123.3:9200"   #es地址
kibana.index: ".kibana"         #kibana是一个小系统，自己也需要存储数据(将kibana的数据保存到.kibana的索引中，会在ES里面创建一个.kibana)
​
# elasticsearch.username: "user"    kibana中的es插件是需要收费的，所以无法使用
# elasticsearch.password: "pass"

6.启动Kibana

[root@abcdocker ~]# /etc/init.d/kibana start
#ES也要开启。

7.检查端口

[root@localhost ~]# netstat -lntup
​
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN      1104/rpcbind        
tcp        0      0 0.0.0.0:21                  0.0.0.0:*                   LISTEN      1321/vsftpd         
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1310/sshd           
tcp        0      0 127.0.0.1:631               0.0.0.0:*                   LISTEN      1180/cupsd          
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1397/master         
tcp        0      0 0.0.0.0:37212               0.0.0.0:*                   LISTEN      1122/rpc.statd      
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      1671/node           
tcp        0      0 :::111                      :::*                        LISTEN      1104/rpcbind        
tcp        0      0 :::22                       :::*                        LISTEN      1310/sshd           
tcp        0      0 ::1:631                     :::*                        LISTEN      1180/cupsd          
tcp        0      0 ::1:25                      :::*                        LISTEN      1397/master         
tcp        0      0 :::49031                    :::*                        LISTEN      1122/rpc.statd      
udp        0      0 0.0.0.0:111                 0.0.0.0:*                               1104/rpcbind        
udp        0      0 0.0.0.0:631                 0.0.0.0:*                               1180/cupsd          
udp        0      0 0.0.0.0:55684               0.0.0.0:*                               1122/rpc.statd      
udp        0      0 0.0.0.0:855                 0.0.0.0:*                               1104/rpcbind        
udp        0      0 0.0.0.0:874                 0.0.0.0:*                               1122/rpc.statd      
udp        0      0 :::111                      :::*                                    1104/rpcbind        
udp        0      0 :::48298                    :::*                                    1122/rpc.statd      
udp        0      0 :::855                      :::*                                    1104/rpcbind        
​

8.访问

访问地址：http://192.168.123.3:5601

参考链接

[1]http://blog.csdn.net/abcdocker/article/details/64441524 ELK Stack 实战之 Elasticsearch

[2]https://www.cnblogs.com/nulige/p/6680336.html ELK Stack介绍与入门实践

[3]http://blog.51cto.com/tangtangit/1831847 ELK环境部署与群集配置

[4]https://www.cnblogs.com/toSeek/p/6099090.html logstash安装与基础用法

[5]http://blog.51cto.com/welcomeweb/1684696?sort=desc CENTOS6.5安装日志分析ELK elasticsearch + logstash + redis + kibana

Lee_Natuo
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
centos7 elk 部署全过程
03-25
elasticsearch6.5.4+logstash6.5.4+kibana6.5.4+log4j2 在sentos7上部署的全过程，包括过程中会遇到的问题及详解
CentOS7部署ELK5.2
weixin_30652897的博客
09-19 113
原文发表于cu：2017-02-10 参考文档： Elasticsearchyum文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html Logstashyum文档：https://www.elastic.co/guide/en/logstash/current/installin...
ELK 日志监控平台（一）- 快速搭建
最新发布
AHAO的博客
05-18 2037
ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。Logstash：一个用于收集、处理和转发日志数据的数据处理管道。
CentOS部署ELK
weixin_40133285的博客
01-06 2027
CentOS部署ELK http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso 1.sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf提示Logstash could not be started because there is already another instan elasticvue
centos环境下部署ELK
qq_43402287的博客
05-17 634
centos环境下部署ELK
centos7.5部署ELk
weixin_30484739的博客
12-22 190
第1章 环境规划 1.1 ELK介绍 ELK是ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索。 Elasticsearch：是一个开源分布式搜索引擎，提供搜集、分析、存储三大功能，特点是分布式、零配置、自动发现、索引自动分片、索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstas...
suricata+elk+kibana+logstash安装手册.docx
08-13
这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案，包括 Suricata 作为核心的威胁检测引擎，以及 ELK（Elasticsearch, Logstash, Kibana）堆栈用于数据收集、存储和可视化。 1. **Suricata 安装*...
esxi6.5环境下centos6.5+ambari+HDP+ELK+neo4j集群搭建
03-19
各产品软件版本 centos 6.5 esxi 6.5 SSH 5.3 JDK 1.8_131 MAVEN 3.6 ...基于EXSI6.5环境下centos6系统搭建ambari+HDP+elasticsearch+kibana+logstash+neo4j集群搭建教程，教程共54页，10000+以上字数
ELK-Log-Analyzer:ELK 堆栈（ElasticSearch + Logstash + Kibana）演示项目
06-07
它演示了 ELK 堆栈（ElasticSearch + Logstash + Kibana）用于分析应用程序日志（以 apache 为例）的用法。 出于测试目的，我们将启动容器 apache 反向代理。 Stack 部署在 docker 容器上， docker-compose (ex fig...
ELK镜像：elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 下载
05-15
ELK:elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 支持操作系统：centos7 中标麒麟、银河麒麟、通信UOS 均已经验证 安装方式，docker安装
Centos7搭建ELK+filebeat.docx
08-24
ELK（Elasticsearch、Logstash、Kibana）是一个流行的日志分析和管理系统，它允许用户收集、处理、存储和可视化各种来源的日志数据。Filebeat作为轻量级的日志收集代理，常被用于与ELK结合，以提高效率和资源利用率...
centos8 ELK安装步骤以及相关注意点
05-22
CentOS 8 安装ELK 7.x 本次示例使用的是阿里云的机器，系统CentOS8 常见的问题的原因以及处理
Centos7部署ELK平台
果汁华的博客
03-27 1671
ELK（Elasticsearch，Logstash，Kibana）三个组件结合起来而构成的一个日志收集，分析，可视化的一个套件算是比较成熟的，官网文档也较成熟，https://www.elastic.co/downloads 下载也是极其方便。话不多说直接部署。 先下好文件，本人是centos ，所以下载的是rpm包。[root@VM_16_161_centos ~]# ls elasticsea
Centos7.4安装部署ELK6.0
技术成就梦想
11-19 3980
Centos7.4安装部署ELK6.0
centos7.6部署ELK集群（一）之elasticsearch7.7.0集群部署
nhm_lxy的专栏
04-17 481
centos7.6部署ELK集群（一）之elasticsearch7.7.0集群部署
centos 7 安装配置ELK
liang_程的博客
12-16 2966
经历了无数次的失败之后，终于把ELK安装到centos上了。首先呢，ELK的版本配套问题是个坑。。。。这个必须注意，因为不同版本的ELK及时安装配置对了也不一定能好使。 1  概述 ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。 由于三个软件各自的版本号太多，建议采用ElasticSea
CentOS7部署ELK_centos7 elk部署(1)，2024年最新小白勿进
2401_84150557的博客
04-13 1003
将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
一、Centos7部署ELK
万物皆可学
04-30 4068
如何在 CentOS7 上安装 Elasticsearch、Logstash 和 Kibana（Elastic Stack）
ElasticSearch ES 安装 常见错误 Kibana安装 设置 权限 密码
m0_37859502的博客
12-13 4507
最近在学习ES数据库，所以将一些东西记录一下。 以下所有的都是基于es7.8.0版本进行的 下载安装ES数据库 安装本体 下载地址 : linux mac os windows es的安装非常简单，基本都是解压然后运行就行了。这里我们就以linux版本为例子 # 新建一个文件夹 mkdir elasticSearch # 进入文件夹 cd elasticSearch/ # 下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch/elas
ELK-用户安装手册 _201904081
08-03
1.Packetbeat（搜集网络流量数据） 2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等 4.Winlogbeat（搜集

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值