从零开始的Docker [ 8 ] --- Docker-compose Elastic Stack，Docker-compose Logstash

最新推荐文章于 2024-05-29 09:00:00 发布
最新推荐文章于 2024-05-29 09:00:00 发布
阅读量177 收藏
点赞数
分类专栏： 从零开始的Docker 文章标签： docker elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Houaki/article/details/113274055
版权

文章目录

容器技术 Docker 应用

一、Docker-compose Elastic Stack

官方地址

1.配置

[root@elk ~]# mkdir elk
[root@elk ~]# cd elk/
[root@elk elk]# ls
docker-compose.yml
[root@elk elk]# vi docker-compose.yml 
version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: es01
    environment:

   - node.name=es01
     cluster.name=es-docker-cluster
        - discovery.seed_hosts=es02,es03
          cluster.initial_master_nodes=es01,es02,es03
             - bootstrap.memory_lock=true
               "ES_JAVA_OPTS=-Xms512m -Xmx512m"
                   ulimits:
                     memlock:
               soft: -1
               hard: -1
                   volumes:
                  - data01:/usr/share/elasticsearch/data
                    rts:
                       - 9200:9200
                         tworks:
                            - elastic
                              es02:
                                  image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
                                  container_name: es02
                                  environment:
                                 - node.name=es02
                                   cluster.name=es-docker-cluster
                                      - discovery.seed_hosts=es01,es03
                                        cluster.initial_master_nodes=es01,es02,es03
                                           - bootstrap.memory_lock=true
                                             "ES_JAVA_OPTS=-Xms512m -Xmx512m"
                                                 ulimits:
                                                   memlock:
                                             soft: -1
                                             hard: -1
                                                   nproc: 65535
                                                   nofile: 65535
                                                 volumes:
                                                - data02:/usr/share/elasticsearch/data
                                                  tworks:
                                                     - elastic
                                                       es03:
                                                           image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
                                                           container_name: es03
                                                           environment:
                                                          - node.name=es03
                                                            cluster.name=es-docker-cluster
                                                               - discovery.seed_hosts=es01,es02
                                                                 cluster.initial_master_nodes=es01,es02,es03
                                                                    - bootstrap.memory_lock=true
                                                                      "ES_JAVA_OPTS=-Xms512m -Xmx512m"
                                                                          ulimits:
                                                                            memlock:
                                                                      soft: -1
                                                                      hard: -1
                                                                            nproc: 65535
                                                                            nofile: 65535
                                                                          volumes:
                                                                         - data03:/usr/share/elasticsearch/data
                                                                           tworks:
                                                                              - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

[root@elk elk]# free -h
              total        used        free      shared  buff/cache   available
Mem:           2.8G        351M        1.8G        9.5M        601M        2.3G
Swap:          2.0G          0B        2.0G
[root@elk elk]# docker stop `docker ps -qa`
97818382c41a
de03cb92ac93

2.内存映射

直接在这个文件内写入 /etc/sysctl.conf
[root@elk elk]# sysctl -w vm.max_map_count=262144
vm.max_map_count = 262144
[root@elk elk]# sysctl -p
vm.swappiness = 0
net.ipv4.neigh.default.gc_stale_time = 120
vm.max_map_count = 262144
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
kernel.sysrq = 1

增加nofile和nproc的ulimit

docker run --rm centos:8 /bin/bash -c 'ulimit -Hn && ulimit -Sn && ulimit -Hu && ulimit -Su'

3.启动

[root@elk elk]# docker-compose up 
Creating network "elk_elastic" with driver "bridge"
Creating volume "elk_data01" with local driver
Creating volume "elk_data02" with local driver
Creating volume "elk_data03" with local driver
...

查看端口

[root@elk ~]# cd elk/
[root@elk elk]# ls
docker-compose.yml
[root@elk elk]# docker-compose ps

Name              Command               State                Ports              
--------------------------------------------------------------------------------

es01   /tini -- /usr/local/bin/do ...   Up      0.0.0.0:9200->9200/tcp, 9300/tcp
es02   /tini -- /usr/local/bin/do ...   Up      9200/tcp, 9300/tcp              
es03   /tini -- /usr/local/bin/do ...   Up      9200/tcp, 9300/tcp

4.访问测试

[root@elk elk]# curl -X GET "localhost:9200/_cat/nodes?v=true&pretty"
ip         heap.percent ram.percent cpu load_1m load_5m load_15m node.role  master name
172.27.0.3           29          97  22    0.81    1.22     2.01 cdhilmrstw -      es02
172.27.0.4           49          97  23    0.81    1.22     2.01 cdhilmrstw -      es01
172.27.0.2           35          97  23    0.81    1.22     2.01 cdhilmrstw *      es03



[root@elk elk]# cat docker-compose.yml 
version: '2.2'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.4
    container_name: cerebro

    # 浏览器中访问宿主机的 9000 端口即可

    # 访问到集群的信息

​    ports:

   - "9000:9000"
     mmand:

      # 用于此容器访问elasticsearch 集群的节点 es01

   - -Dhosts.0.host=http://es01:9200
     tworks:
        - elastic

  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nproc: 65535
      nofile: 65535
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nproc: 65535
      nofile: 65535
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nproc: 65535
      nofile: 65535
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

​

二、Docker-compose Logstash

下载镜像


docker run --rm -it -v ~/pipeline/:/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:7.10.2

1.配置

官方地址

默认文件路径：
管道配置文件：

/usr/share/logstash/pipeline/logstash.conf

配置文件：

/usr/share/logstash/config/logstash.yml
Nekoosu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elk7.10.2分布式集群安装（docker版）
leveretz的博客
02-18 770
elk7.10.2分布式集群安装（docker版） 结构设计 首先，logstash 具有日志采集、过滤、筛选等功能，功能完善但同时体量也会比较大，消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具，虽然没有过滤筛选功能，但是仅仅部署在应用服务器作为我们采集日志的工具可以是说最好的选择。但我们有些时候可能又需要logstash的过滤筛选功能，所以我们在采集日志时用filebeat，然后交给logstash过滤筛选。 其次，logstash的吞吐量是有限的，一旦短时间内fileb.
docker-compose-elasticsearch-kibana：用于Elasticsearch和Kibana的Docker Compose
01-31
**Docker标签“docker elasticsearch awesome kibana elasticstack docker-compose cluster filebeat heartbeat elk apm metricbeat packetbeat compose docker-elasticsearch elk-stack auditbeat docker-elk ...
Docker 安装 Elasticsearch
Talk is cheap. Show me the code
11-02 758
Docker 安装 Elasticsearch Docker 安装 Elasticsearch kibana 可以方便些 DSL。
【云原生 | 59】Docker中通过docker-compose部署ELK
最新发布
小鹏linux的博客
05-29 1643
各个组件的作用如下： Filebeat：采集文件等日志数据； LogStash：过滤日志数据； Elastic Search：存储、索引日志； Kibana：用户界面；
ES集群安装（docker）7.2.0
爱笑才不是傻帽的博客
11-29 1180
docker ES集群安装（docker）7.2.0
Docker安装Elasticsearch及相关插件详细步骤，全程亲测避坑
secretdaixin的博客
12-06 6509
docker部署Elasticsearch、kibana、analysis-ik、elasticsearch-head、ingest-attachment 解决elasticsearch安装报错：default discovery settings are unsuitablefor production use，访问报错：Empty reply from server 解决kibana访问报错：server is not read yet 解决elasticsearch-head连接失败、访问报错406
Centos7系统下Docker-compose部署多节点Elk及Windows，Linux日志过滤收集全过程（Elasticsearch*2+Logstash+Kibana）
凡心所向,素履以往,生如逆旅,一苇以航
07-21 1871
然后，我们根据之前docker ps看到的容器ID（CONTAINER ID ）确认每个服务对应的容器，从容器中拷贝配置文件，这个容器id大家都不会是一样的，所以请参考我的命令格式修改。第一步，我们先要用临时配置的Docker Compose Yml文件启动ELK集群，从临时启动的容器里面拷贝各类原始配置文件到本地目录，用与目录挂载，方便后续的修改及调试工作，因为如果你在容器里面直接改，在进行docker-compose重启的时候配置就会清空，比较麻烦；这里我使用的是官方压缩包安装的。
go-elk-stack:Elasticsearch-Logstash-Kibana-Golang
05-18
:french_fries: 这个简单的项目演示了Elasticsearch-Logstash-Kibina（ELK）与Golang的集成 去栈 没有Web框架，使用本机运行 DEP的包管理brew install dep 杜松子酒进行实时重新加载， go get github....
docker-symfony：面向Docker Symfony SOA的NGINX，PHP7-FPM，MySQL，Redis，ELK（Elasticsearch Logstash和Kibana），Varnish和CouchDB
02-06
6. **ELK日志处理**: ELK Stack（Elasticsearch, Logstash, Kibana）是一套强大的日志管理和分析工具，能够实时收集、解析和展示各种日志数据，对系统监控和故障排查非常有帮助。 7. **Varnish缓存**: Varnish作为...
spring-boot-microservice-eureka-zuul-docker：使用Eureka，Zuul和Docker的Spring-Boot其余微服务。 使用logstash，logback，elasticsearch和kibana进行监视
01-30
从1.1.0版开始，ELK Stack已集成用于监视。 有四种微服务： 帐户：此微服务负责管理帐户。 一个帐户可以是买方，卖方或后台帐户，但只有买方帐户。 产品：此微服务负责管理产品。 订单：此微服务负责管理订单。 ...
docker-elk:Elask Stack，Logstash，Kibana，Filebeat
03-18
Docker上的弹性堆栈（ELK）使用Docker和Docker Compose运行最新版本的 。它使您能够使用Elasticsearch的搜索/聚合功能和Kibana的可视化功能来分析任何数据集。 :information:支持该堆栈的Docker映像包括默认情况下...
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
celk-docker-compose:带有Docker Compose的cELK（collected，Elasticsearch，Logstash，Kibana）堆栈
05-04
Docker Celk堆栈 服务 基本图片 港口 25826 / udp 5000 9200 5601 设置 安装 。 安装 。 git clone git@github.com:codenamekt/celk-docker-compose.git 启用奇迹 Marvel在弹性图像上可用。 只需使用以下命令创建一个自定义Dockerfile ： RUN plugin -i elasticsearch/marvel/latest 用法 使用docker-compose在后台启动堆栈： $ docker-compose up -d 您将立即开始看到通过收集将统计信息（cpu，内存，负载）压入ELK堆栈。 通过使用网络浏览器访问来访问Kibana UI，以查看统计信息。 谢谢 松紧带 deviantony / docker-elk
docker compose安装运行ELK之Logstash
weixin_38312502的博客
08-21 5166
结构： logstash 由管道组成，而一个管道由input,output和filter三个元素组成 1.docker-compose.yml配置 logstash: image: docker.elastic.co/logstash/logstash:7.3.0 container_name: logstash volumes: - /usr/l...
企业架构设计部署实现-docker-compose（二）Elastic
qq_22648091的博客
02-25 1012
注意 此文档是适用于练习学习测试之用，不适用于生产环境 特别不适用于小白！ 一、 图 三、实施步骤 5 日志搜集阶段 参考资料： 设置Filebeat 模块与Logstash一起使用 shil:设置Filebeat模块以使用Kafka和Logstash 此示例的主要目标是演示如何从Filebeat加载摄取管道并将其与Logstash一起使用。 配置 Filebeat 仪表盘 5.1 部署 elasticsearch 集群 + Kibana + Logstash + cerebro elasticsear
Elasticsearch docker-compose 使用 Logstash 从 JSON 文件中预加载数据
Elastic 中国社区官方博客
11-13 653
在我们创建 Elasticsearch 进行开发时，最简单的办法就是在本地使用 docker-compose 来一键部署一个 Elasticsearch 集群。有时，特别是在准备测试环境时，开发人员希望从一开始就创建包含一些测试数据的数据库容器。然而在这种情况下，我只想 Logstash 导入我的测试数据，然后停止释放资源。现在只需 docker-compose up -d ，大约 2 分钟后，Elasticsearch 就会启动并创建索引，其中包含一些文档。在今天的文章中，我们通过另外一种方法来实现。
Docker-Compose部署ELK
weixin_44359151的博客
03-04 2626
Docker-Compose部署ELK
安装elasticsearch
Prozac17的博客
06-21 341
安装elasticsearch镜像 docker pull elasticsearch:7.4.0 安装可视化检索数据 docker pull kibana:7.4.0 创建实例 mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/data echo "http.host:0.0.0.0">>/mydata/elasticsearch/config/elasticsearch.yml dock
Elasticsearch7.2.1 部署docker
white_while的博客
08-02 2495
Elasticsearch7.2.1 部署docker 安装docker 1.uname -a 查看当前系统版本 其中： uname -r:发行版号 3.10 3.10.0-693.2.2.el7.x86_64 uname -v: 内核编译日期 #1 SMP Tue Sep 12 22:26:13 UTC 2017 uname -o:操作系统 GNU/Linux 2.yum -y insta...
Docker-compose 教程全集 PDF 53页
07-07
Docker-compose教程全集涵盖了从基础入门到高级实践的内容，包括如何创建项目、配置服务、部署容器、以及解决实际工作中的协作和扩展问题。通过学习这个教程，开发者能够更有效地管理和部署复杂的多容器应用程序，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值