ELK搭建及基础使用（docker版）

已于 2023-11-01 09:52:36 修改
阅读量1.2k 收藏 12
点赞数
文章标签： elk docker java
于 2023-03-23 16:12:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49566876/article/details/129731309
版权

ELK概述

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，
完成更强大的用户对日志的查询、排序、统计需求

● ElasticSearch（日志存储和搜索）：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch通信。 Elasticsearch 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。

● Logstash（日志收集）：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给Elasticsearch。 Logstash 由JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

● Kiabana（展示）：是基于 Node.js 开发的展示工具，可以为 Logstash 和 ElasticSearch
提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。

ELK搭建

初始化ELK环境

vim /etc/sysctl.conf

vm.max_map_count = 262144   #件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量
fs.file-max = 1645037        #系统创建最大文件数

解决报错：

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

elk服务端搭建

  1. 编写服务端YML文件
    vim /data/elk/docker-compose.yml
version: '2'
services:
  elasticsearch:
    image: elasticsearch:7.13.2
    container_name: ELK-E
    ports:
      - 19200:19200
      - 19300:9300
    environment:
#      TAKE_FILE_OWNERSHIP: "true"
      ES_JAVA_OPTS: "-Xmx512m -Xms512m"     #内存限制
      ELASTIC_PASSWORD: "Pwd@123"                # elastic密码（账户：elastic）
    volumes:
      - ./elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./elasticsearch/logs:/usr/share/elasticsearch/logs
      - ./elasticsearch/data:/usr/share/elasticsearch/data
    networks:
      - elk

  kibana:
    image: kibana:7.13.2
    container_name: ELK-K
    ports:
      - 15601:15601
    volumes:
      - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    depends_on:
      - elasticsearch
    networks:
      - elk

  logstash:
    image: logstash:7.13.2
    container_name: ELK-L
    ports:
      - 15044:5044
      - 19600:9600
    volumes:
      - /data/cc/logs:/161         #本地日志文件映射
      - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml:ro
      - ./logstash/pipeline/:/usr/share/logstash/pipeline/
    environment:
      LS_JAVA_OPTS: "-Xmx512m -Xms512m"     #内存限制
    depends_on:
      - elasticsearch
    networks:
      - elk
networks:
  elk:
    driver: bridge
  1. 编写elasticsearch配置文件
    vim /data/elk/elasticsearch/config/elasticsearch.yml
#集群名称
cluster.name: ELK001
#节点名称
node.name: NODE001
#数据路径
path.data: ./data
#日志路径
path.logs: ./logs
bootstrap.memory_lock: false
#监听地址
network.host: 0.0.0.0
#监听端口
http.port: 19200
discovery.seed_hosts: ["127.0.0.1:19200"]
#集群主节点名称
cluster.initial_master_nodes: ["NODE001"]
#开启monitor
xpack.monitoring.collection.enabled: true
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
  1. 编写kibana配置文件
    vim /data/elk/kibana/config/kibana.yml
#监听地址
server.host: 0.0.0.0
#监听端口
server.port: 15601
#elasticsearch地址
elasticsearch.hosts: ["http://elasticsearch:19200","http://192.168.0.161:19200"]
i18n.locale: "zh-CN"
kibana.index: ".kiabana"
#elasticsearch用户名密码（没有可不设置）
elasticsearch.username: "elastic"
elasticsearch.password: "Pwd@123"
  1. 编写logstash配置文件
  • 主配
    vim /data/elk/logstash/config/logstash.yml
#监听地址
http.host: "0.0.0.0"
#配置elasticsearch连接信息
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.0.161:19200","http://elasticsearch:19200" ]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "Pwd@123"
  • 日志收集配置
    vim /data/elk/logstash/pipeline/logstash.conf
######################监听文件配置####################
input {
    file {
        path => "/161/log/log.log"  # 填写容器内部log文件路径
        start_position => "beginning"   # 从文件开始处开始读取
    }
}
output {
        elasticsearch {
            hosts => ["192.168.0.161:19200"]         #输出到elasticsearch 
            index => "obc-log-161-%{+YYYY.MM.dd}"   #索引名称
            user => "elastic"                       #elasticsearch用户名
            password => "Pwd@123"                #elasticsearch密码
        }
    }
###################监听端口配置####################
input {
    tcp {
        port => 15044                           #监听tcp端口
        codec => json                           #文件格式
    }
}
output {
        elasticsearch {
            hosts => ["192.168.0.161:19200"]         #输出到elasticsearch 
            index => "obc-log-161-%{+YYYY.MM.dd}"   #索引名称
            user => "elastic"                       #elasticsearch用户名
            password => "Pwd@123"                #elasticsearch密码
        }
    }
  1. 启动服务
docker-compose -f  /data/elk/docker-compose.yml up -d

客户端logstash搭建

  1. 编写yml文件
    vim docker-compose-logstash.yml
  logstash:
    image: logstash:7.13.2
    container_name: ELK-L
    ports:
      - 15044:5044
      - 19600:9600
    volumes:
      - /data/cc/logs:/158      #映射本地日志目录
      - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml:ro
      - ./logstash/pipeline/:/usr/share/logstash/pipeline/
    environment:
      LS_JAVA_OPTS: "-Xmx512m -Xms512m"
  1. 编写logstash配置文件
  • 主配
    vim /data/elk/logstash/config/logstash.yml
#监听地址
http.host: "0.0.0.0"
#配置elasticsearch连接信息
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.0.161:19200","http://elasticsearch:19200" ]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "Pwd@123"
  • 日志收集配置
    vim /data/elk/logstash/pipeline/logstash.conf
######################监听文件配置####################
input {
    file {
        path => "/158/log/log.log"  # 填写容器内部log文件路径
        start_position => "beginning"   # 从文件开始处开始读取
    }
}
output {
        elasticsearch {
            hosts => ["192.168.0.161:19200"]         #输出到elasticsearch 
            index => "obc-log-158-%{+YYYY.MM.dd}"   #索引名称
            user => "elastic"                       #elasticsearch用户名
            password => "Pwd@123"                #elasticsearch密码
        }
    }
###################监听端口配置####################
input {
    tcp {
        port => 15044                           #监听tcp端口
        codec => json                           #文件格式
    }
}
output {
        elasticsearch {
            hosts => ["192.168.0.161:19200"]         #输出到elasticsearch 
            index => "obc-log-158-%{+YYYY.MM.dd}"   #索引名称
            user => "elastic"                       #elasticsearch用户名
            password => "Pwd@123"                #elasticsearch密码
        }
    }
  1. 启动服务
docker-compose -f  /data/elk/docker-compose-logstash.yml up -d

ELK使用-创建索引

  1. 访问kibana控制台
    http://192.168.0.161:15601
    用户名：elastic 密码：Pwd@123
  2. 创建索引
    在这里插入图片描述3. 根据logstic文件中定义的索引名创建索引
    在这里插入图片描述
    选择筛选条件为时间并创建索引
    在这里插入图片描述
    4.查看日志
    在这里插入图片描述

ELK索引清理

  • 获取索引
curl -u elastic:Pwd@123 -XGET 'http://192.168.0.161:19200/_cat/shards'
  • 删除索引
curl -u elastic:Pwd@123  -XDELETE  http://192.168.0.161:19200/$index_name
  • 自动清理脚本
#!/bin/bash
#Delete:The index 7 days ago
day=`date -d '7 day ago' +%Y.%m.%d`
indexname="obc|occ"
#获取索引
curl -u elastic:Pwd@123 -XGET 'http://192.168.0.161:19200/_cat/shards' | grep -E $indexname | awk '{print $1}' | grep $day | uniq > /tmp/index_name.tmp
#删除索引
for index_name in `cat /tmp/index_name.tmp` 
do
    curl -u elastic:Pwd@123  -XDELETE  http://192.168.0.161:19200/$index_name
    echo -e "[`date  +%F` `date  +%T `" $((10#$(date +%N)/1000000))ms] "${index_name} delete success" >> /tmp/del_elasticseatch_index.log
done
#需添加定时任务
# 0 3 * * * bash /home/scripts/del_elasticseatch_index.sh
Forced O&M personnel
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Docker搭建ELK日志系统
02-25
之前用本地版本安装了ELK之后，就没有再去弄它了。年底没那么忙，心里一直惦记，所以最近又开始折腾了。去elastic官网看一下，果然版本帝就是版本帝，一周一版本。现在我用的版本是基于6.1.1版本的。6.0之后官方开始自己维护镜像版本:https://www.docker.elastic.co/。找到需要的ELK镜像地址，pull下来就好了。官方pull下来之后镜像名太长了，所以我将镜像全部重新打了tag，命令：dockertagdocker.elastic.co/elasticsearch/elasticsearch:6.1.1elasticsearch:latest。使用dockerima
使用docker compose搭建一个elk系统的方法
01-10
找了不少使用 docker-elk 搭建的博客, 英文的阅读吃力不说, 镜像源也是慢的让人头皮发麻, 因此重新编排了一个docker-compose,源都是从 https://hub.docker.com/ 上找的, 即使拉的国内镜像源应该也能很好的支持了吧? ...
Docker容器搭建ELK日志分析系统
最新发布
weixin_73059729的博客
06-04 585
如果报错了可以直接问就好，包解决，Docker容器搭建ELK日志分析系统。
【云原生 | 59】Docker中通过docker-compose部署ELK
小鹏linux的博客
05-29 1695
各个组件的作用如下： Filebeat：采集文件等日志数据； LogStash：过滤日志数据； Elastic Search：存储、索引日志； Kibana：用户界面；
实战篇-Docker 安装ELK(单节点)
Json的博客
03-27 905
文中的apps目录是在/home/ubuntu目录下。
通过 Docker 部署 ELK 日志收集系统
运维-晓柏的博客
04-20 8861
通过容器部署的方式快速搭建ELK日志管理收集系统。
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1311
ELK搭建
ELK的搭建和使用
YIYIYI
08-11 4243
ELK的搭建和使用
elk搭建与简单的线上应用
ya_shy的博客
03-29 4149
开源文档： Logstash：https://www.elastic.co/guide/en/logstash/current/index.html Filebeat：https://www.elastic.co/guide/en/beats/filebeat/current/index.html Elasticsearch：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Kibana：https://ww
基于Docker的ELK部署
Dear_xq 的博客
06-21 3864
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、 分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将 对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打 分，再将返回结果呈现给用户。1 . docker获取es的镜像 2
docker部署elk
weixin_35750953的博客
01-13 327
Docker是一种容器化技术，可以将应用程序及其依赖关系打包在一起，并在多个平台上运行。 ELK(Elasticsearch、Logstash、Kibana)是一个开源的日志管理解决方案。 要在Docker中部署ELK，需要执行以下步骤： 使用Docker安装Elasticsearch、Logstash和Kibana容器。 配置Logstash的pipeline来收集和处理日志。 配置Kib...
Docker部署ELK与使用
慢慢进步的java小白的博客
02-08 642
（3）. 按照短语查询 是指, 匹配某个 field 的整个内容, 不再利用分词技术。索引查询，实时查询索引 根据刚刚添加的。es自动创建索引使用配置文件。（2）. 按字段的分词查询。（1）. 按条件查询全部。（5）. 指定查询的字段。
使用Docker搭建ELK日志系统的方法示例
09-30
主要介绍了使用Docker搭建ELK日志系统的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker 搭建 ELK
03-26
1.下载解压 2. 进入 elk 目录，执行下列命令 docker-compose up -d。 3. 使用 docker ps 查看容器状态。
docker 快速搭建elk
a...Z
05-30 2281
Docker搭建ELK步骤详解。
ELK从入门到入魔~
城北码农的博客
08-26 259
注意：这篇文章能让你快速把elk搭建起来！ 先说说问什么要用这玩意：如果你的项目是分布式集群环境，有报错信息你要一个服务一个服务去找，是不是很曹丹！但是用了elk，你就可以在一个可视化界面上通过过滤条件快速过滤查询出你想要的任何信息。 首先介绍一下什么是elk–>ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过ELK 会非常方便的查询和统计日志情况.一般来说只用这三个组件就可以实现功能，深究起来还需要额外的组件比如
ELK安装和使用
大帅的博客
12-14 1132
下载相应版本的elastic-search、logstash、kibana 本次使用的是当前最新版本7.10，官网较慢，需要耐心等待 elastic-search分为包含自带JDK和不带JDK版本，默认下载的是自带JDK版本，防止本地JDK版本不匹配（7.10默认JDK11） 选择产品-立即部署，https://www.elastic.co/cn/downloads/ 解压所有的安装包 1.elastic-search配置启动 配置./conf/elasticsearch.yml http.
docker安装ELK详细步骤
上善若水
10-21 2753
elk 安装
Docker部署ELK 8.8.2（1）-ELK介绍&Elasticsearch安装
weixin_48244640的博客
07-03 1306
Docker部署ELK 8.8.2，ELK介绍，Elasticsearch、Kibana、Logstash、Filebeat安装及使用。
docker搭建elk
08-20
Docker可以很方便地搭建ELK（Elasticsearch, Logstash, Kibana）环境。以下是一个简单的步骤： 1. 首先，确保你已经安装了Docker和Docker Compose。 2. 创建一个新的文件夹，用于存放ELK的配置文件和数据。 3. 在该文件夹中创建一个名为`docker-compose.yml`的文件，并添加以下内容： ```yaml version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 environment: - discovery.type=single-node ports: - 9200:9200 volumes: - esdata:/usr/share/elasticsearch/data logstash: image: docker.elastic.co/logstash/logstash:7.10.2 volumes: - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf ports: - 5000:5000 kibana: image: docker.elastic.co/kibana/kibana:7.10.2 ports: - 5601:5601 volumes: esdata: ``` 4. 在同一文件夹中创建一个名为`logstash.conf`的文件，并添加以下内容： ``` input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => ["elasticsearch:9200"] } } ``` 5. 保存文件并在终端中切换到该文件夹。 6. 运行以下命令启动ELK容器： ``` docker-compose up ``` 7. 等待一段时间，直到所有容器启动完成。然后，你可以通过访问`http://localhost:5601`来访问Kibana控制台，`http://localhost:9200`来访问Elasticsearch。 这样，你就成功地使用Docker搭建了ELK环境。你可以通过修改`logstash.conf`文件来配置Logstash接收和处理日志数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值