elk

最新推荐文章于 2024-02-22 14:12:42 发布
最新推荐文章于 2024-02-22 14:12:42 发布
阅读量303 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/argued_d/article/details/82048534
版权 
[root@server1 ~]# yum install elasticsearch-2.3.3.rpm -y
[root@server1 ~]# rpm -ivh jdk-8u121-linux-x64.rpm 
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml
 17 cluster.name: my-es
 23 node.name: server1
 33 path.data: /var/lib/elasticsearch
 37 path.logs: /var/log/elasticsearch
 43 bootstrap.mlockall: true
 54 network.host: 172.25.40.1
 58 http.port: 9200
 [root@server1 elasticsearch]# /etc/init.d/elasticsearch start

查看端口
这里写图片描述
安装head插件
这里必须使用 url 的方式进行安装,如果文件在本地,我们也需要使用 file:// 的方式指定路径

[root@server1 ~]# /usr/share/elasticsearch/bin/plugin  install file:/root/elasticsearch-head-master.zip     
[root@server1 ~]# /usr/share/elasticsearch/bin/plugin  list

这里写图片描述

网页访问http://172.25.40.1:9200/_plugin/head/
这里写图片描述
这里写图片描述
这里写图片描述

创建节点

[root@server1 ~]# scp elasticsearch-2.3.3.rpm jdk-8u121-linux-x64.rpm server2:
[root@server1 ~]# scp elasticsearch-2.3.3.rpm jdk-8u121-linux-x64.rpm server3:
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 
 68 discovery.zen.ping.unicast.hosts: ["server1", "server2","server3"]
[root@server1 elasticsearch]# /etc/init.d/elasticsearch reload
[root@server1 elasticsearch]# scp elasticsearch.yml server2:/etc/elasticsearch
[root@server1 elasticsearch]# scp elasticsearch.yml server3:/etc/elasticsearch

【server2】

[root@server2 ~]# yum install -y elasticsearch-2.3.3.rpm 
[root@server2 ~]# rpm -ivh jdk-8u121-linux-x64.rpm 
[root@server2 ~]# cd /etc/elasticsearch/
[root@server2 elasticsearch]# vim elasticsearch.yml 
 23 node.name: server2
 54 network.host: 172.25.40.2
[root@server2 elasticsearch]# /etc/init.d/elasticsearch start

【server3】

[root@server3 ~]# yum install -y elasticsearch-2.3.3.rpm
[root@server3 ~]# rpm -ivh jdk-8u121-linux-x64.rpm
[root@server3 ~]# cd /etc/elasticsearch/
[root@server3 elasticsearch]# vim elasticsearch.yml 
 23 node.name: server3
 54 network.host: 172.25.40.3
[root@server3 elasticsearch]# /etc/init.d/elasticsearch start

刷新网页查看节点
这里写图片描述

[root@server1 elasticsearch]# vim elasticsearch.yml 
 25 node.master: true
 26 node.data: false
 27 http.enabled: true
[root@server1 elasticsearch]# /etc/init.d/elasticsearch reload

这里写图片描述
在【server2】和【server3】上添加信息

[root@server2 elasticsearch]# vim elasticsearch.yml 
 25 node.master: false
 26 node.data: true
 27 http.enabled: true
[root@server2 elasticsearch]# /etc/init.d/elasticsearch reload

反复刷新网页查看节点
这里写图片描述

RESTful API 调用

查看健康状态

[root@server1 elasticsearch]# curl -XGET 'http://172.25.40.1:9200/_cluster/health?pretty=true'

这里写图片描述

[root@server1 elasticsearch]# curl 172.25.40.1:9200/_nodes/stats/process?pretty

这里写图片描述

Logstash安装配置

[root@server1 ~]# rpm -ivh logstash-2.3.3-1.noarch.rpm

数据测试：
1.基本的输入输出

[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{ } } output { stdout{} }'
Settings: Default pipeline workers: 1
Pipeline main started
westos
2018-08-25T02:46:37.125Z server1 westos
hello westos
2018-08-25T02:46:43.372Z server1 hello westos

这里写图片描述
2 使用rubydebug详细输出

[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug} }'
Settings: Default pipeline workers: 1
Pipeline main started
hello
{
       "message" => "hello",
      "@version" => "1",
    "@timestamp" => "2018-08-25T02:50:45.647Z",
          "host" => "server1"

这里写图片描述
3 把内容写到elasticsearch中

[root@server1 ~]#  /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["172.25.40.1"] index => "logstash-%{+YYYY.MM.dd}" } stdout { codec => rubydebug } }'

这里写图片描述

这里写图片描述
这里写图片描述

logstash的配置和文件的编写
logstash的配置

[root@server1 ~]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# vim es.conf
input { 
        stdin { } 
 }

output {
        elasticsearch { 
                hosts => ["172.25.40.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout { 
                codec => rubydebug 
        }
}

这里写图片描述
执行文件

[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

这里写图片描述
这里写图片描述

写入内容写入elasticsearch中并且在文件里也有内容

[root@server1 conf.d]# vim es.conf
input {
        stdin { }
 }

output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
        file {
                path => "/tmp/testfile"
                codec => line {format => "custom format: %{message}"}
        }
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

这里写图片描述
查看文件写入内容

[root@server1 conf.d]# cd /tmp
[root@server1 tmp]# ls
[root@server1 tmp]# cat testfile

这里写图片描述

这里写图片描述

2 收集系统日志

[root@server1 conf.d]# vim es.conf 
input {
        file{
                path => "/var/log/messages"
        }
 }

output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }
}
[root@server1 ~]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# cp es.conf message.conf
[root@server1 conf.d]# vim message.conf 
input {
        file{
                path => "/var/log/messages"
                start_position => "beginning"
        }
}

output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }
        stdout {
                codec => rubydebug
        }
}

执行文件

[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf 
Settings: Default pipeline workers: 1
Pipeline main started

网页没有生成message文件，是因为没有更新message的内容
这里写图片描述

更新message
另开一个shell写入内容

[root@server1 ~]# logger you
[root@server1 ~]# logger www
[root@server1 ~]# logger 123
[root@server1 ~]# logger 456
[root@server1 ~]# logger 789

此时另一边的文件已经开始更新message内容
这里写图片描述

这里写图片描述
这里写图片描述

日志的远程传输

[root@server1 conf.d]# vim message.conf 
input {
        syslog {
                port => 514
        }
}

output {
#        elasticsearch {
#               hosts => ["172.25.40.1"]
#               index => "message-%{+YYYY.MM.dd}"
#       }

        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf
[root@server2 conf.d]# vim /etc/rsyslog.conf 
81 *.*     @@172.25.40.1:514
[root@server2 elasticsearch]# /etc/init.d/rsyslog restart

在server1上可以看到server2的日志
这里写图片描述
在server2上面更新message内容则在server1上也是可以看到

日志合并

[root@server1 conf.d]# cd /var/log/
[root@server1 log]# cd elasticsearch/
[root@server1 elasticsearch]# ls
my-es_deprecation.log             my-es_index_search_slowlog.log
my-es_index_indexing_slowlog.log  my-es.log
[root@server1 elasticsearch]# cat my-es.log

这里写图片描述

[root@server1 conf.d]# vim message.conf 
input {
        file {
                path => "/var/log/elasticsearch/my-es.log"
                start_position => "beginning"
        }
}

filter{
  multiline{
#       type => "type"
        pattern => "^\["
        negate => true
        what => "previous"
        }
  }
output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "es-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

这里写图片描述

httpd的数据采集

[root@server1 ~]# yum install -y httpd
[root@server1 ~]# /etc/init.d/httpd start
[root@server1 ~]# cd /var/www/html
[root@server1 html]# vim index.html
www.westos.org
[root@server1 html]# curl 172.25.40.1
www.westos.org
[root@server1 html]# cd /etc/logstash/
[root@server1 logstash]# cd conf.d/
[root@server1 conf.d]# vim message.conf 
input {
        file {
                path => ["/var/log/httpd/access_log","/var/log/httpd/error_log"]
                start_position => "beginning"
        }
}

#filter{
#  multiline{
##       type => "type"
#       pattern => "^\["
#       negate => true
#       what => "previous"
#       }

output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "apache-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

这里写图片描述

[root@server1 conf.d]# vim test.conf
input {
        stdin{}
}

filter {
  grok {
    match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
  }
}

output {
        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

这里写图片描述

这里写图片描述

[root@server1 conf.d]# ls -i /var/log/elasticsearch/my-es.log 
523028 /var/log/elasticsearch/my-es.log
[root@server1 conf.d]# cd 
[root@server1 ~]# l.
[root@server1 ~]# cat .sincedb_d5a86a03368aaadc80f9eeaddba3a9f5
523028 0 64768 19414
[root@server1 ~]# rm -f .sincedb_d5a86a03368aaadc80f9eeaddba3a9f5

这里写图片描述

input {
        file {
                path => ["/var/log/httpd/access_log","/var/log/httpd/error_log"]
                start_position => "beginning"
        }

}

filter {
        grok {
                match => { "message" => "%{COMBINEDAPACHELOG}" }
        }
}
output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "apache-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

这里写图片描述

[root@server3 ~]# rpm -ivh kibana-4.5.1-1.x86_64.rpm
[root@server3 ~]# cd /opt/kibana/config/
[root@server3 config]# vim kibana.yml 
15 elasticsearch.url: "http://172.25.40.1:9200"
23 kibana.index: ".kibana"
[root@server3 config]# /etc/init.d/kibana start

网页访问http://172.25.40.3:5601
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

这里写图片描述
这里写图片描述
在【server2】上安装redis并编译

[root@server2 ~]# tar zxf redis-3.0.6.tar.gz
[root@server2 ~]# cd redis-3.0.6
[root@server2 redis-3.0.6]# yum install -y gcc
[root@server2 redis-3.0.6]# make && make install
[root@server2 redis-3.0.6]# cd utils/
[root@server2 utils]# ./install_server.sh    #一直回车

【server1】

[root@server1 ~]# /etc/init.d/httpd stop
[root@server1 ~]# rpm -ivh nginx-1.8.0-1.el6.ngx.x86_64.rpm 
[root@server1 ~]# /etc/init.d/nginx start
[root@server1 ~]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# cp message.conf nginx.conf
[root@server1 conf.d]# ll /var/log/nginx/access.log 
-rw-r----- 1 nginx adm 0 Aug 25 16:33 /var/log/nginx/access.log
[root@server1 conf.d]# ll -d /var/log/nginx/
drwxr-xr-x 2 root root 4096 Aug 25 16:33 /var/log/nginx/
[root@server1 conf.d]# chmod 644 /var/log/nginx/access.log
[root@server1 ~]# l.
[root@server1 ~]# rm -fr .sincedb_*

这里写图片描述

[root@server1 conf.d]# vim nginx.conf 
input {
        file {
                path => "/var/log/nginx/access.log"
                start_position => "beginning"
        }

}

filter {
        grok {
                match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}" }
        }
}
output {
        redis {
                host => ["172.25.40.2"]
                port => 6379
                data_type => "list"
                key => "logstash:redis"
        }

        stdout {
                codec => rubydebug
        }
}
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf

在真机上做压测

[root@foundation40 ~]# ab -c 1 -n 10 http://172.25.40.1/index.html

在【server1】上可以看到
这里写图片描述

[root@server1 conf.d]# scp es.conf server2:/etc/logstash/conf.d

【server2】

[root@server2 ~]# rpm -ivh logstash-2.3.3-1.noarch.rpm
[root@server2 ~]# cd /etc/logstash/
[root@server2 logstash]# cd conf.d/
[root@server2 conf.d]# vim es.conf 
input {
        redis {
                host => "172.25.40.2"
                port => 6379
                data_type => "list"
                key => "logstash:redis"
        }
 }

output {
        elasticsearch {
                hosts => ["172.25.40.1"]
                index => "nginx-%{+YYYY.MM.dd}"
        }
}
[root@server2 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

这里写图片描述

这里写图片描述
这里写图片描述

这里写图片描述
这里写图片描述
这里写图片描述

这里写图片描述
这里写图片描述
这里写图片描述

这里写图片描述
这里写图片描述

这里写图片描述
这里写图片描述
这里写图片描述

这里写图片描述

Argued_D
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK原理与介绍
aiduo4911的博客
12-13 2042
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，...
ELK整理
热门推荐
weixin_47274990的博客
04-25 5万+
ELK一、ELK介绍二、 Elasticsearch的安装部署1、依赖于java,所以首先安装java环境-jdk2、 Elasticsearch的安装3、Elasticsearch-head插件的安装 一、ELK介绍 ELK是Elasticsearch,logash,kibana的结合。 Elasticsearch的功能： 1.搜索 2.全文检索 3.分析数据 4.处理海量数据PB,对海量数据进行近实时的处理(ES可以自动将海量数据分散到多台服务器上去存储和检索) 5.高可用高性能分布式搜索引擎数据库
ELK 简介安装
最新发布
Yuanshigou9的博客
02-22 1571
ELK_简介、ELK + Filebeat + Kafka 安装
ELK简介以及安装部署
m0_54255157的博客
09-05 9272
ELK 是 Elasticsearch、Logstash、Kibana 三大开源框架的首字母大写简称。市面上也被称为Elastic Stack。其中 Elasticsearch 是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用 Elasticsearch作为底层支持的框架，可见 Elasticsearch 提供的搜索能力确实强大，市面上很多时候我们称Elasticsearch 为 es。
ELK初学者
qq_32429011的博客
03-06 1834
一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问...
ELK简介
承缘丶
09-05 4501
ELK是三个开源软件的缩写，分别是Elasticsearch、Logstash、Kibana，后来又新加了一个FileBeat
ELK
03-28
在最初通过检查elastic.co上的文档来设置ELK堆栈之后，在浏览文档时先向前移动，而不是手动执行kibana和logstash。 我决定尝试查找具有我可以修改的基本模板的现有docker映像或存储库。 因此，我在上找到了基本的ELK...
ELK 资料ELK 资料ELK 资料ELK 资料ELK 资料ELK 资料
11-01
ELK 资料ELK 资料ELK 资料ELK 资料ELK 资料ELK 资料
ELK开源日志审计系统
12-25
文件列表： x86_64_tar -------------------------- X86二进制包 x86_64_rpm -------------------------- X86 RPM安装包 x86_64_deb -------------------------- X86 DEB安装包 arm64_rpm ------------------------...
ELK6.2.4搭建
11-15
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站：https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有...
ELK使用简介
10-12
ELK由ElasticSearch、Logstash和Kibana三个开源工具组成。 ElasticSearch是一款基于的Lucene的开源分布式搜索引擎。它有配置简单、集群主机自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动...
ELK:NOC ELK + FORTINET日志
05-10
ELK设置来监视Fortigate日志===============================================工具麋鹿[如何安装ELK泊坞窗]（ ） 抵制配置Fortigate SysLog 第一步是配置Fortigates。 这是Syslog格式： config log syslogd setting ...
ELK全套安装包
12-13
ELK全套安装包（elasticsearch-2.3.1.tar.gz；logstash-2.3.1.tar.gz；kibana-4.5.0-linux-x64.tar.gz）
springboot-elk_springboot_elk_
09-29
springboot + elk集成范例
elk 5.6.4 三件套
10-27
elk三件套
【ElasticSearch】ELK简介
No8g攻城狮的博客
10-24 1万+
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。ElasticSearch官网。
ELK--- ELK简介
MAKEJAVAMAN的博客
01-01 5681
文章目录ELK简介特点组件介绍Elastic SearchLogstashKibanaBeatsElastic cloud ELK简介 ELK是一个免费开源的日志分析架构技术栈总称，官网地址：https://www.elastic.co/cn/。主要包含三大基础组件，分别是Elastic Search、Logstash、Kibana。 但是实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性，并非唯一性。 架构图如下： 随着ELK的发展，新成员B
ELK详解（一）——ELK基本原理
永远是少年
04-03 2万+
今天继续给大家介绍Linux运维相关知识，本文主要内容是ELK的基本原理。 一、ELK简介 二、ELK架构 三、ELK优点
elk windows
09-25
ELK（Elasticsearch, Logstash, Kibana）是一个用于日志管理和分析的开源技术栈。在Windows环境下搭建ELK平台可以按照以下步骤进行： 1. 下载所需软件包，并将它们解压到指定的目录。例如，你可以将Kibana解压到F:\...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值