ELK快速搭建教程

最新推荐文章于 2024-08-14 10:15:58 发布
最新推荐文章于 2024-08-14 10:15:58 发布
阅读量202 收藏
点赞数
文章标签： elk
原文链接：https://www.jianshu.com/p/3a1f5ea2ce8d
版权

转载：https://www.jianshu.com/p/3a1f5ea2ce8d

一、 Elasticsearch安装

环境准备
系统： Centos7
防火墙： 关闭
Sellinux: 关闭
JDK 1.8（备注至少是1.8版本的JDK）

 

image.png

1、下载

https://www.elastic.co/downloads/elasticsearch

image.png

 

[elk@localhost elasticsearch]$ pwd
/usr/local/src/elasticsearch
[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
--2018-10-05 23:26:43-- https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.225.221.128, 54.225.214.74, 184.73.245.233, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.225.221.128|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 97914519 (93M) [application/x-gzip]
Saving to: ‘elasticsearch-6.4.2.tar.gz’
100%[====================================================================================================================================================================================================================================>] 97,914,519 2.55MB/s in 24s   
2018-10-05 23:27:09 (3.84 MB/s) - ‘elasticsearch-6.4.2.tar.gz’ saved [97914519/97914519]
[elk@localhost elasticsearch]$ ll
total 95620
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz

2、解压

[elk@localhost elasticsearch]$ tar -zxvf elasticsearch-6.4.2.tar.gz

3、配置elasticsearch.yml配置文件

在config目录下的elasticsearch.yml文件中你可以设置es服务的端口号以及网络ip等

 

image.png

4、启动es

切换到bin目录下

[elk@localhost bin]$ ./elasticsearch

启动的过程可能有点缓慢，请耐心等待
启动报错：
问题一：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决方案：
切换到root用户
编辑 /etc/sysctl.conf，追加以下内容：
vm.max_map_count=655360
保存后，执行：
sysctl -p

问题二：ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf
添加如下内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容：

* soft nproc 1024

修改为

* soft nproc 2048

重新启动，成功。

 

image.png

5、验证es是否启动成功

[elk@localhost ~]$ curl localhost:9200
{
    "name": "bWZVh7O",
    "cluster_name": "elasticsearch",
    "cluster_uuid": "9Rvwbh7bQs6SsRALTwefNQ",
    "version": {
        "number": "6.4.2",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "04711c2",
        "build_date": "2018-09-26T13:34:09.098244Z",
        "build_snapshot": false,
        "lucene_version": "7.4.0",
        "minimum_wire_compatibility_version": "5.6.0",
        "minimum_index_compatibility_version": "5.0.0"
    },
    "tagline": "You Know, for Search"
}

或者在浏览器输入：

 

image.png

二、 Logstash的安装

1、下载

[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
--2018-10-05 23:41:42-- https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.235.82.130, 107.21.237.188, 23.21.67.46, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.235.82.130|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 153924169 (147M) [application/x-gzip]
Saving to: ‘logstash-6.4.2.tar.gz’
100%[====================================================================================================================================================================================================================================>] 153,924,169 2.27MB/s in 56s   
2018-10-05 23:42:40 (2.62 MB/s) - ‘logstash-6.4.2.tar.gz’ saved [153924169/153924169]
[elk@localhost elasticsearch]$ ll
total 245940
drwxr-xr-x. 9 elk elk 155 Oct 5 23:33 elasticsearch-6.4.2
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz
-rw-rw-r--. 1 elk elk 153924169 Oct 2 06:59 logstash-6.4.2.tar.gz
[elk@localhost elasticsearch]$

2、解压

[elk@localhost elasticsearch]$ tar -zxvf logstash-6.4.2.tar.gz

3、配置文件

在config目录下的logstash.yml我这里也都采用的是默认的,大家可以根据自己的需求自行设置

[elk@localhost config]$ vim logstash.yml

4、设置tomcat的serer.xml

[elk@localhost conf]$ pwd
/usr/local/src/tomcat/apache-tomcat-8.5.34/conf
[elk@localhost conf]$ vim server.xml

将最后的pattern后面的参数更改如下

pattern="%h %l %u %t "%r" %s %b %D "%{Referer}i" "%{User-Agent}i""

image.png

5、创建root-tomcat.conf文件

[elk@localhost logstash-6.4.2]$ pwd
/usr/local/src/elasticsearch/logstash-6.4.2
[elk@localhost logstash-6.4.2]$ vim root-tomcat.conf

新增内容

input {
    file {  
        path => "/usr/local/src/tomcat/apache-tomcat-8.5.34/logs/localhost_access_log*.txt"  
        sincedb_path => "/usr/local/src/elasticsearch/logstash-6.4.2/config/sincedb_apache_access_log.txt"
        type => "apache_access_log"
        add_field => {"tomcatip" => "192.168.1.23"}
    }
}
filter{
    if [type] == "apache_access_log" {
        grok{
            match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|-)\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{NUMBER:responsetime} \"(?:%{URI:referrer}|-)\" %{QS:agent}" }
        }
        ruby {
            code => "event.timestamp.time.localtime"
        }
        date{
            match => [ "timestamp", "dd/MM/yyyy:HH:mm:ss Z" ]
            target => ["writetime"]
        }
        mutate {
            convert => { 
                "response" => "integer" 
                "bytes" => "integer" 
                "responsetime" => "integer" 
            }
        }
    }
    
}
output {
    if [type] == "apache_access_log" {
        elasticsearch {
            hosts => ["192.168.1.23:9200"]
            index => "logstash-apacheaccesslog-%{+YYYY.MM.dd}"
        }
    }
}

6、启动logstash

[elk@localhost logstash-6.4.2]$ ./bin/logstash -f root-tomcat.conf

image.png

三、 安装kibana

1、下载

[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
--2018-10-06 00:21:55-- https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.225.221.128, 107.21.237.188, 107.21.202.15, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.225.221.128|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 188077286 (179M) [application/x-gzip]
Saving to: ‘kibana-6.4.2-linux-x86_64.tar.gz’
100%[====================================================================================================================================================================================================================================>] 188,077,286 4.75MB/s in 41s   
2018-10-06 00:22:39 (4.34 MB/s) - ‘kibana-6.4.2-linux-x86_64.tar.gz’ saved [188077286/188077286]
[elk@localhost elasticsearch]$ ll
total 429616
drwxr-xr-x. 9 elk elk 155 Oct 5 23:33 elasticsearch-6.4.2
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz
-rw-rw-r--. 1 elk elk 188077286 Oct 2 06:58 kibana-6.4.2-linux-x86_64.tar.gz
drwxrwxr-x. 13 elk elk 4096 Oct 6 00:15 logstash-6.4.2
-rw-rw-r--. 1 elk elk 153924169 Oct 2 06:59 logstash-6.4.2.tar.gz

2、解压

[elk@localhost elasticsearch]$ tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz

3、修改配置文件

[elk@localhost kibana-6.4.2-linux-x86_64]$ cd config/
[elk@localhost config]$ vim kibana.yml

image.png

4、启动

[elk@localhost kibana-6.4.2-linux-x86_64]$ ./bin/kibana

通过提示，无任何错误表示启动完成。此时通过访问http://192.168.1.23:5601即可；
在访问这个页面之前别忘记启动tomcat

四、 成功的喜悦

如下图，大家可以开始elk之旅了

 

image.png

q1054261752
关注
ELK快速搭建流程
shaun的博客
08-18 654
ELK搭建流程 文章目录ELK搭建流程前言一、Elastic Search1.搭建es集群2.项目引入二、logstash1.安装2.项目配置三、kibana总结 前言 该架构基于springboot 2.x版本，使用的es + logstash + kibana需要三者的版本一致！一致！一致！！下载包的时候一定要注意版本一致，不然会浪费很多时间，下载过程还是比较熬人的，本文统一使用7.5.1版本，如需要该版本的包可私信，共享以提高些效率，或者穿梭门， 提取密码:[te2h] 然后赞扬下这位浪漫的
通过ELK快速搭建一个你可能需要的集中化日志平台
weixin_34353714的博客
11-29 225
       在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4net就够了，随着应用的越来越多，日志散 落在各个服务器的logs文件夹下，确实有点不大方便，这个时候就想到了，在log4net中配置 mysql的数据源，不过这里面有一个坑，熟悉log4net的同学知 道写入mysql有一个batch的阈值，比如说batchcache中有100条，...
深入理解 Kibana 配置文件：一份详尽的指南
最新发布
一起coding，一起嗨。
08-14 1013
深入理解 Kibana 配置文件：一份详尽的指南
ELK的快速搭建
m0_62451624的博客
12-09 520
ELK的快速搭建
ELK 日志监控平台（一）- 快速搭建
AHAO的博客
05-18 5794
ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。Logstash：一个用于收集、处理和转发日志数据的数据处理管道。
ELK系统搭建.docx
05-23
在搭建过程中，参考官方文档和社区教程是非常重要的，它们提供了详尽的配置示例和故障排查指南。例如，对于Elasticsearch，你可以了解如何调整索引策略、优化查询性能；对于Logstash，学习如何编写有效的过滤器脚本...
ELK+FileBeat+Kafka分布式系统搭建图文教程.docx
06-06
本教程详细记录了ELK+FileBeat+Kafka分布式系统的搭建流程和步骤，为大家快速上手提供了详细的指导。本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件组成，分别负责日志收集、缓存层、日志处理、...
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
3. **ELK环境搭建**： - 配置Logstash： - 创建`logstash.conf`文件，定义输入（Kafka消费者）、过滤和输出（Elasticsearch）配置，用于从Kafka读取日志并存储到Elasticsearch。 - 启动Logstash服务执行配置文件...
简易教程 – 通过juju云管理工具，三步搭建ELK(ElasticSearch, Logstash & Kibana)
01-20
在本文中，我们将学习如何使用juju云管理工具快速搭建ELK（Elasticsearch, Logstash, Kibana）栈。ELK栈是一种流行的数据日志管理和分析解决方案，能够对日志数据进行实时搜索、分析和可视化。借助juju，这个过程变...
ELK6最新ElasticSearch 6(ELK 6)实战视频教程
07-02
本教程旨在通过实战案例，详细介绍如何利用ELK 6搭建高效稳定的数据分析平台。 #### Elasticsearch 6简介 Elasticsearch是一款基于Lucene的开源搜索引擎，它提供了分布式索引和搜索能力，能够支持PB级别的数据量。...
ELK超快速起步（Windows）
08-13
NULL 博文链接：https://xpenxpen.iteye.com/blog/2290330
快速搭建全套ELK日志分析系统
qq_36760953的博客
05-22 1208
ELK：Elasticsearch 搜索引擎、Logstash 日志收集、Kibana 视图展现 安装Elasticsearch 搜索引擎 1.mac安装方式 安装：brew install elasticsearch 或者 启动：brew services start elasticsearch 停止：brew services stop elasticsearch 前台启动：elasticsearch 2.官方下载包方式 启动：cd 进入elasticsearch文件夹bin目录 sh elas.
ELK 快速指南
JingLisen的博客
08-31 454
ELK 快速指南 概念 ELK 是什么 ELK 是 elastic 公司旗下三款产品 ElasticSearch 、Logstash 、Kibana 的首字母组合。 ElasticSearch 是一个基于 Lucene 构建的开源，分布式，RESTful 搜索引擎。 Logstash 传输和处理你的日志、事务或其他数据。 Kibana 将 Elasticsearch 的数据分析并渲...
手把手教你如何快速搭建 ELK 实时日志分析平台
代码界的扛把子
05-11 2106
本篇文章主要是手把手教你搭建 ELK 实时日志分析平台，那么，ELK 到底是什么呢？ ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一个搜索和分析引擎。 Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。 Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。
ELK-快速入门使用
Alano1994的博客
03-18 1237
一、ELK概述 ELK 是三个开源软件的缩写，分别表示： Elasticsearch , Logstash , Kibana 。 ELK 通常用来构建日志分析平台、数据分析搜索平台等 官方文档 https://www.elastic.co/cn/products 组件介绍 Elasticsearch 是个开源分布式全文检索和数据分析平台。它的特点有：分布式，零配置，自动发现，索引自动分片，索引...
Linux服务搭建 || ELKStack快速安装
weixin_30920091的博客
01-12 66
ELKStack简介 对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合，一个通用的架构如下图所示： 一、安装Elastic...
ELK快速入手
一夜奈何梁山
10-12 359
一： 功能： 151：ES主服务器 152： ES从服务器 153： 远程连接152和151 密码都是12345 ssh root@192.168.203.151 ssh root@192.168.203.152 二：时间同步： timedatactl set-timezone Asia/Shanghai # 时区存放地 vim etc/loacltime # 时区文件 cd /usr/share/zoneinfo 安装：ntpdate，设置同步时间 # 安装 apt-get install ntpda
ELK入门教程：快速搭建与核心功能解析
"ELK服务入门快速搭建教程" ELK服务是一种流行的日志管理和分析解决方案，由Elasticsearch、Logstash和Kibana三个开源组件组成。这个组合为收集、处理、存储和可视化大量日志数据提供了高效且灵活的平台。 **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值