Linux Docker 安装 Elasticsearch Logstash Kibana

已于 2022-12-03 20:14:23 修改
阅读量1.2k 收藏
点赞数
分类专栏： Docker 文章标签： elasticsearch linux
于 2022-11-29 21:20:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KingCruel/article/details/128105423
版权

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口风格的搜索和数据分析引擎。

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

Logstash是 Elastic Stack 的中央数据流引擎（数据收集引擎），用于收集、丰富和统一所有数据，而不管格式或模式。

当Logstash与Elasticsearch，Kibana，及 Beats 共同使用的时候便会拥有特别强大的实时处理能力(ELK)。

1、Elasticsearch 搜索，下载，查询

# 搜索镜像
docker search elasticsearch

# 下载镜像
docker pull elasticsearch
docker pull elasticsearch:7.15.2

# 查看镜像
docker images

2、Logstash 搜索，下载，查询

# 搜索镜像
docker search logstash

# 下载镜像
docker pull logstash:7.15.2

# 查看镜像
docker images

3、Kibana 搜索，下载，查询

# 搜索镜像
docker search kibana

# 下载镜像
docker pull kibana:latest
docker pull kibana:7.15.2

# 查看镜像
docker images

4、创建挂载目录 Elasticsearch，集群目录

mkdir -p /home/20221125/myelk/es/{config,logs,data,plugins}
chown -R 1000:1000 /data/myelk/es
touch /home/20221125/myelk/es/config/elasticsearch.yml

# 创建集群文件夹目录
# node_1
mkdir -p /home/20221125/es_cluster/node_1/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_1/plugins/ik

# node_2
mkdir -p /home/20221125/es_cluster/node_2/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_2/plugins/ik

# node_3
mkdir -p /home/20221125/es_cluster/node_3/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_3/plugins/ik

5、创建挂载目录 Logstash

mkdir -p /home/20221125/myelk/logstash/{config,logs,pipeline}
mkdir -p /home/20221125/myelk/logstash/config/conf.d
chmod 777 -R /home/20221125/myelk/logstash

touch /home/20221125/myelk/logstash/config/logstash.yml
vim /home/20221125/myelk/logstash/config/logstash.yml

##增加配置
    http.host: "0.0.0.0"  # 注意 0.0.0.0 不是指定ip
    xpack.monitoring.enabled: true
    xpack.monitoring.elasticsearch.hosts: [ "http://192.168.31.196:9200" ]
    xpack.monitoring.elasticsearch.username: "elastic"  #es xpack账号
    xpack.monitoring.elasticsearch.password: "xxxx"     #es xpack账号
    path.config: /usr/share/logstash/config/conf.d/*.conf
    path.logs: /usr/share/logstash/logs

6、创建挂载目录 Kibana

mkdir -p /home/20221125/myelk/kibana/{config,data}

touch /home/20221125/myelk/kibana/config/kibana.yml

vim /home/20221125/myelk/kibana/config/kibana.yml
##增加配置
    server.name: kibana
    server.host: "0.0.0.0"
    server.port: 5601
    # 设置elasticsearch集群地址
    elasticsearch.hosts: ["http://192.168.1.1:9200","http://192.168.1.1:9201"]  #注意这里的ip不能是localhost，是本地的ip地址
    xpack.monitoring.ui.container.elasticsearch.enabled: true
    #设置kibana中文显示
    i18n.locale: zh-CN
    elasticsearch.url: "http://10.132.200.4:9200" #这里是7.0版本以下的配置，默认不支持集群，
    7.0版本的es的地址直接是“http://elasticsearch-cluster”直接这样配置访问

7、运行容器 Elasticsearch

# 容器 elasticsearch 样例1
docker run -it -p 9200:9200 -p 9300:9300 \
 --name first_es \
 -e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
 -e "discovery.type=single-node" \
 --restart=always \
 -v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /data/elk/es/data:/usr/share/elasticsearch/data \
 -v /data/elk/es/logs:/usr/share/elasticsearch/logs \
 -v /data/elk/es/plugins:/usr/share/elasticsearch/plugins \
 -d elasticsearch:7.15.2

# 容器 elasticsearch 样例2
docker run --name first_elasticsearch -p 9200:9200  -p 9300:9300 \
 -e "discovery.type=single-node" \
 -e ES_JAVA_OPTS="-Xms84m -Xmx512m" \
 -v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /opt/es_docker/data:/usr/share/elasticsearch/data \
 -v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
 -d elasticsearch:7.15.2

# 容器 elasticsearch 样例3 集群
docker run --name es_node_1 -p 9201:9200  -p 9301:9300 \
 -privileged=true \
 -v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /opt/es_docker/data:/usr/share/elasticsearch/data \
 -v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
 -e "cluster.name=my-cluster" \
 -e "node.name=node-1" \
 -e "node.master=true" \
 -e "node.data=true" \
 -e "network.host=0.0.0.0" \
 -e "transport.tcp.port=9300" \
 -e "http.port=9200" \
 -e "cluster.initial_master_nodes=node-1" \
 -e "discovery.seed_hosts: ["192.168.1.100:9301","192.168.1.100:9302","192.168.1.100:9303"]" \
 -e "gateway.auto_import_dangling_indices=true" \
 -e "http.cors.enabled=true" \
 -e "http.cors.allow-origin:=*" \
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
 -e "discovery.type=single-node" \
 -e "TAKE_FILE_OWNERSHIP=true" \
 -d elasticsearch:7.15.2

# 参数说明：
 -privileged=true 设置特权级运行的容器，container内的root拥有真正的root权限
 -v 宿主机路径:容器路径
 -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
 -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
 -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
 --privileged：授予逻辑卷访问权
 --network es-net ：加入一个名为es-net的网络中
 -p 9200:9200：端口映射配置
 -e "cluster.name=es-docker-cluster"：设置集群名称
 -e "cluster.name=my-cluster"：设置集群名称
 -e "http.host=0.0.0.0"：监听的地址，可以外网访问
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
 -e "discovery.type=single-node"：非集群模式，discovery.type=single-node（单机运行）
 -e "node.name=node-1"：节点名称
 -e "node.master=true"：是否可以成为master节点
 -e "node.data=true"：是否存储数据
 -e "network.host=0.0.0.0"：绑定主机ip地址，允许外网访问
 -e "transport.tcp.port=9300"：集群节点之间通讯交互的tcp端口
 -e "http.port=9200"：设置http端口
 -e "cluster.initial_master_nodes=node-1"：master节点默认为node-1
 -e "discovery.seed_hosts"：设置当前节点与哪些ES节点建立连接
 -e "gateway.auto_import_dangling_indices=true"：是否自动引入dangling索引，默认false
 -e "http.cors.enabled=true"：开启跨域访问
 -e "http.cors.allow-origin:=*"：跨域访允许的域名地址
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：默认jvm2G，设置jvm最小内存
 -e "TAKE_FILE_OWNERSHIP=true"：解决挂载目录权限问题

# 查看容器运行日志
docker logs first_es
docker logs first_elasticsearch
docker logs es_node_1

# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env

# 查看容器IP地址
docker inspect first_es
# "IPAddress": "172.17.0.2"
 
# 查看容器IP地址
docker inspect first_es | grep 'IPAddress'

# 进入容器
docker exec -it first_es /bin/bash
docker exec -it first_es bash
ls -l

# 停止和删除容器
docker stop first_elasticsearch && docker rm first_elasticsearch

8、运行容器 Logstash
*
*
*
9、运行容器 Kibana

docker run --name first_kibana \
 -p 5601:5601 \
 --log-driver json-file \
 --log-opt max-size=100m \
 --log-opt max-file=2 \
 -v /home/20221125/myelk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
 --restart=always \
 -d kibana:7.15.2

# 查看容器运行日志
docker logs first_kibana

# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env

# 查看容器IP地址
docker inspect first_kibana
# "IPAddress": "172.17.0.2"
 
# 查看容器IP地址
docker inspect first_kibana | grep 'IPAddress'

# 进入容器
docker exec -it first_kibana /bin/bash
docker exec -it first_kibana bash
ls -l

# 停止和删除容器
docker stop first_kibana && docker rm first_kibana

*、数据包转发

# 跳转目录
cd /usr/lib/sysctl.d

# 查看文件
cat /usr/lib/sysctl.d/50-default.conf

# 编辑文件
vim /usr/lib/sysctl.d/50-default.conf

# 末尾添加内容
net.ipv4.ip_forward = 1

# 重启network
systemctl restart network

*、开放端口（需要外网访问）

# 查看防火墙状态
systemctl status firewalld

# 开放指定端口
firewall-cmd --add-port=9201/tcp --add-port=9202/tcp --add-port=9203/tcp --permanent
firewall-cmd --add-port=5601/tcp --permanent

# 重新加载
firewall-cmd --reload

# 查看开放端口
firewall-cmd --list-ports

*、验证
*
*
*
docker-compose

# Step 1: 创建 docker-compose.yml 文件
cd /home/20221125/myelk
vim docker-compose.yml

# Step 2: 编辑内容如下
version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.15.2
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /data/elk/es/data:/usr/share/elasticsearch/data
      - /data/elk/es/logs:/usr/share/elasticsearch/logs
      - /data/elk/es/plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.15.2
    container_name: kibana
    links:
      - elasticsearch:es
    depends_on:
      - elasticsearch
    environment:
      - "elasticsearch.hosts=http://es:9200"
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.15.2
    container_name: logstash
    volumes:
      - /data/elk/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch
    links:
      - elasticsearch:es
    ports:
      - 4560:4560

# Step 3: 执行命令
docker-compose up -d

*
*
*

KingCruel
关注
专栏目录
docker安装elk（Elasticsearch+logstash+kibana） 亲测可以使用
qq_44605317的博客
07-02 3465
一、elk是什么 ELK 是一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch： 简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析 Lucene 基础上的搜索引擎，使用 Java 语言编写。 Logstash：是一个具有实时传输能力的数据收集引擎，用来进行数据收集 然后发送给 es Kibana：为 Elasticsearch 提供了分析和可视化的 Web 平台
docker安装Elasticsearch+Kibana+密码配置
*** 喵桑_Rachel ***
02-09 2707
一、安装elasticsearch 1、拉取镜像 docker pull elasticsearch:7.12.1 2、构建容器&运行 docker run --name elasticsearch -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.12.1 3、修改配置 1、进入容器&打开文件 docker exec -it es bash cd config v
docker安装es、logstash、kibana
zchlove137的博客
08-13 2197
1、安装es 拉取镜像： docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.1 运行容器： docker run -d --name es --restart="always" -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.3.1 进入容器： docker exe
Docker安装 Elasticsearch + Kibana
C的博客
01-09 354
Docker安装 Elasticsearch + Kibana
Docker安装ElasticSearch和Kibana
景鹏虎晓的博客
01-08 1259
本文主要介绍Docker环境下安装ElasticSearch和Kibana
使用docker安装elasticsearch和kibana
zengzehui的专栏
03-03 2006
1、配置网络 创建一个网络，供2个不同容器共享网络。 docker network create --subnet=172.30.0.0/24 elasticsearch_net --subnet 指定子网掩码 查看网络创建是否成功 2、配置elasticsearch 2.1、创建一个文件夹并创建如下文件或文件夹 config -> 存放配置文件 plugins -> 安装es插件，例如分词器等 2.2、在config目录下创建elasticsearch.y...
ELK实战，Linux版docker安装ElasticSearch、ES-head、Logstash、Kiabana入门，无坑详细图解
m0_62877071的博客
12-06 1202
项目需要，记录一次ELK日志分析系统无坑初始安装过程，并给大家整理出了操作elasticsearch的主要命令，elasticsearch！伙伴们都懂得哦！别的不多说，看过内容概览，直接开整！！！
elk-docker:Elasticsearch 的 Docker 配置 - logstash - kibana 堆栈
06-25
Elasticsearch、Logstash 和 Kibana 的 Docker 配置。 建造 为了构建图像： docker build -t elk:latest . 跑步 为了运行图像： docker run -d -p 5000:5601 --name elk -v /path/access-logs:/var/log/access ...
基于Docker搭建ELK（Elasticsearch、Logstash、Kibana）日志框架
最新发布
lucky_fd的博客
06-20 1777
随着企业业务的不断增长，日志管理成为了系统运维中不可或缺的一部分。ELK（Elasticsearch、Logstash、Kibana）作为一套开源的日志管理系统，以其高效、灵活、可扩展的特性，成为了众多企业的首选。本文将详细介绍如何搭建一套完整的ELK日志管理系统。
文章【elasticsearch】Docker安装elasticsearch配置文件
04-24
文章【elasticsearch】Docker安装elasticsearch配置文件elasticsearch.yml,直接修改ip放入挂载的目录下。
docker 启动elasticsearch镜像,挂载目录后报错的解决
01-20
从docker hub下载了一个es的镜像，版本为6.4.2，详细信息如下： 比较重要的就是这两条，第一个是工作目录，挂载目录也需要和这里对应；第二个是启动命令，这里是指定了一个预先写好的启动脚本。所以我启动了一个空容器去查看了下容器内的情况： 容器内部目录结构如上图，data是用来存放数据，logs用来存放日志。 接着查看下启动脚本 /usr/local/bin/docker-entrypoint.sh 前半部分我也是看的一知半解，不过真正和挂载目录相关的是最后这部分，这里处理了挂载目录后的操作，大致意思是： 如果是root用户（docker启动容器，默认是以root用户身份），并
Docker部署ELK 8.8.2（4）-logstash部署和使用
weixin_48244640的博客
07-07 1677
Docker部署ELK 8.8.2，ELK介绍，Elasticsearch、Kibana、Logstash、Filebeat安装及使用。
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】
日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导
03-13 873
如果空间不足：查看内存情况，删除下载的无关镜像。连同镜像对应的容器也删除掉。启动成功，过一会自动断开连接，赋予文件权限。elasticsearch.yml中的。P为大写的情况，创建并且启动容器失败。可视化操作，类似navicat。这里的P要是小写的p。
Docker 安装 ElasticSearch 及 挂载目录
qq_34324703的博客
05-04 2107
Docker 安装 ElasticSearch 及 挂载目录
elasticsearch安装和实例创建并挂载
说完
05-08 949
一、docker环境下安装 1、docker pull docker.io/elasticsearch 数据存储和检索 2、docker pull docker.io/kibana 可视化检索数据 ———要求elasticsearch-kibana版本统一 二、实例创建 **1、本次创建挂载目录便于修改配置文件和查看数据** mkdir -p /home/elasticsearch/config mkdir -p /home/elasticsearch/data **
Elasticsearch安装教程
m0_62985615的博客
03-20 1572
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式的全文搜索引擎，基于restful web接口。Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。注意：Elasticsearch、Kibana、ik分词器的版本要保持一致。
ElasticSearch性能调优
qq_18629653的博客
03-17 905
ES 性能调优 ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 写优化 假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。 针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择恰当写优化策略。 综合来说，可以考虑以下几个方面来提升写索引的性能： 加大 Translog Flush ，目的是降低 Iops、Writeblock。 增加 Inde...
一篇文章学会在Linux上使用Docker轻松部署Elasticsearch与Kibana，超详细！
曾续缘的博客
01-30 3621
首先，我们需要创建一个自定义网络，让Elasticsearch和Kibana能够互相通信。在Docker中，网络可以用来连接多个容器，让它们能够相互通信。容器通信：自定义网络允许在同一网络中的容器之间进行通信。通过将容器连接到相同的网络，它们可以通过容器名称或IP地址相互访问，而无需暴露主机端口。隔离性：自定义网络提供了一种隔离容器的方式，使得不同网络中的容器默认情况下无法直接通信。这增加了容器之间的安全性，并减少了不必要的暴露。连接外部网络。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值