Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口风格的搜索和数据分析引擎。
Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
Logstash是 Elastic Stack 的中央数据流引擎(数据收集引擎),用于收集、丰富和统一所有数据,而不管格式或模式。
当Logstash与Elasticsearch,Kibana,及 Beats 共同使用的时候便会拥有特别强大的实时处理能力(ELK)。
1、Elasticsearch 搜索,下载,查询
# 搜索镜像
docker search elasticsearch
# 下载镜像
docker pull elasticsearch
docker pull elasticsearch:7.15.2
# 查看镜像
docker images
2、Logstash 搜索,下载,查询
# 搜索镜像
docker search logstash
# 下载镜像
docker pull logstash:7.15.2
# 查看镜像
docker images
3、Kibana 搜索,下载,查询
# 搜索镜像
docker search kibana
# 下载镜像
docker pull kibana:latest
docker pull kibana:7.15.2
# 查看镜像
docker images
4、创建挂载目录 Elasticsearch,集群目录
mkdir -p /home/20221125/myelk/es/{config,logs,data,plugins}
chown -R 1000:1000 /data/myelk/es
touch /home/20221125/myelk/es/config/elasticsearch.yml
# 创建集群文件夹目录
# node_1
mkdir -p /home/20221125/es_cluster/node_1/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_1/plugins/ik
# node_2
mkdir -p /home/20221125/es_cluster/node_2/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_2/plugins/ik
# node_3
mkdir -p /home/20221125/es_cluster/node_3/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_3/plugins/ik
5、创建挂载目录 Logstash
mkdir -p /home/20221125/myelk/logstash/{config,logs,pipeline}
mkdir -p /home/20221125/myelk/logstash/config/conf.d
chmod 777 -R /home/20221125/myelk/logstash
touch /home/20221125/myelk/logstash/config/logstash.yml
vim /home/20221125/myelk/logstash/config/logstash.yml
##增加配置
http.host: "0.0.0.0" # 注意 0.0.0.0 不是指定ip
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.31.196:9200" ]
xpack.monitoring.elasticsearch.username: "elastic" #es xpack账号
xpack.monitoring.elasticsearch.password: "xxxx" #es xpack账号
path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /usr/share/logstash/logs
6、创建挂载目录 Kibana
mkdir -p /home/20221125/myelk/kibana/{config,data}
touch /home/20221125/myelk/kibana/config/kibana.yml
vim /home/20221125/myelk/kibana/config/kibana.yml
##增加配置
server.name: kibana
server.host: "0.0.0.0"
server.port: 5601
# 设置elasticsearch集群地址
elasticsearch.hosts: ["http://192.168.1.1:9200","http://192.168.1.1:9201"] #注意这里的ip不能是localhost,是本地的ip地址
xpack.monitoring.ui.container.elasticsearch.enabled: true
#设置kibana中文显示
i18n.locale: zh-CN
elasticsearch.url: "http://10.132.200.4:9200" #这里是7.0版本以下的配置,默认不支持集群,
7.0版本的es的地址直接是“http://elasticsearch-cluster”直接这样配置访问
7、运行容器 Elasticsearch
# 容器 elasticsearch 样例1
docker run -it -p 9200:9200 -p 9300:9300 \
--name first_es \
-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
-e "discovery.type=single-node" \
--restart=always \
-v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /data/elk/es/data:/usr/share/elasticsearch/data \
-v /data/elk/es/logs:/usr/share/elasticsearch/logs \
-v /data/elk/es/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.15.2
# 容器 elasticsearch 样例2
docker run --name first_elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms84m -Xmx512m" \
-v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /opt/es_docker/data:/usr/share/elasticsearch/data \
-v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.15.2
# 容器 elasticsearch 样例3 集群
docker run --name es_node_1 -p 9201:9200 -p 9301:9300 \
-privileged=true \
-v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /opt/es_docker/data:/usr/share/elasticsearch/data \
-v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
-e "cluster.name=my-cluster" \
-e "node.name=node-1" \
-e "node.master=true" \
-e "node.data=true" \
-e "network.host=0.0.0.0" \
-e "transport.tcp.port=9300" \
-e "http.port=9200" \
-e "cluster.initial_master_nodes=node-1" \
-e "discovery.seed_hosts: ["192.168.1.100:9301","192.168.1.100:9302","192.168.1.100:9303"]" \
-e "gateway.auto_import_dangling_indices=true" \
-e "http.cors.enabled=true" \
-e "http.cors.allow-origin:=*" \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-e "TAKE_FILE_OWNERSHIP=true" \
-d elasticsearch:7.15.2
# 参数说明:
-privileged=true 设置特权级运行的容器,container内的root拥有真正的root权限
-v 宿主机路径:容器路径
-v es-data:/usr/share/elasticsearch/data:挂载逻辑卷,绑定es的数据目录
-v es-logs:/usr/share/elasticsearch/logs:挂载逻辑卷,绑定es的日志目录
-v es-plugins:/usr/share/elasticsearch/plugins:挂载逻辑卷,绑定es的插件目录
--privileged:授予逻辑卷访问权
--network es-net :加入一个名为es-net的网络中
-p 9200:9200:端口映射配置
-e "cluster.name=es-docker-cluster":设置集群名称
-e "cluster.name=my-cluster":设置集群名称
-e "http.host=0.0.0.0":监听的地址,可以外网访问
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m":内存大小
-e "discovery.type=single-node":非集群模式,discovery.type=single-node(单机运行)
-e "node.name=node-1":节点名称
-e "node.master=true":是否可以成为master节点
-e "node.data=true":是否存储数据
-e "network.host=0.0.0.0":绑定主机ip地址,允许外网访问
-e "transport.tcp.port=9300":集群节点之间通讯交互的tcp端口
-e "http.port=9200":设置http端口
-e "cluster.initial_master_nodes=node-1":master节点默认为node-1
-e "discovery.seed_hosts":设置当前节点与哪些ES节点建立连接
-e "gateway.auto_import_dangling_indices=true":是否自动引入dangling索引,默认false
-e "http.cors.enabled=true":开启跨域访问
-e "http.cors.allow-origin:=*":跨域访允许的域名地址
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m":默认jvm2G,设置jvm最小内存
-e "TAKE_FILE_OWNERSHIP=true":解决挂载目录权限问题
# 查看容器运行日志
docker logs first_es
docker logs first_elasticsearch
docker logs es_node_1
# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env
# 查看容器IP地址
docker inspect first_es
# "IPAddress": "172.17.0.2"
# 查看容器IP地址
docker inspect first_es | grep 'IPAddress'
# 进入容器
docker exec -it first_es /bin/bash
docker exec -it first_es bash
ls -l
# 停止和删除容器
docker stop first_elasticsearch && docker rm first_elasticsearch
8、运行容器 Logstash
*
*
*
9、运行容器 Kibana
docker run --name first_kibana \
-p 5601:5601 \
--log-driver json-file \
--log-opt max-size=100m \
--log-opt max-file=2 \
-v /home/20221125/myelk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
--restart=always \
-d kibana:7.15.2
# 查看容器运行日志
docker logs first_kibana
# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env
# 查看容器IP地址
docker inspect first_kibana
# "IPAddress": "172.17.0.2"
# 查看容器IP地址
docker inspect first_kibana | grep 'IPAddress'
# 进入容器
docker exec -it first_kibana /bin/bash
docker exec -it first_kibana bash
ls -l
# 停止和删除容器
docker stop first_kibana && docker rm first_kibana
*、数据包转发
# 跳转目录
cd /usr/lib/sysctl.d
# 查看文件
cat /usr/lib/sysctl.d/50-default.conf
# 编辑文件
vim /usr/lib/sysctl.d/50-default.conf
# 末尾添加内容
net.ipv4.ip_forward = 1
# 重启network
systemctl restart network
*、开放端口(需要外网访问)
# 查看防火墙状态
systemctl status firewalld
# 开放指定端口
firewall-cmd --add-port=9201/tcp --add-port=9202/tcp --add-port=9203/tcp --permanent
firewall-cmd --add-port=5601/tcp --permanent
# 重新加载
firewall-cmd --reload
# 查看开放端口
firewall-cmd --list-ports
*、验证
*
*
*
docker-compose
# Step 1: 创建 docker-compose.yml 文件
cd /home/20221125/myelk
vim docker-compose.yml
# Step 2: 编辑内容如下
version: '3'
services:
elasticsearch:
image: elasticsearch:7.15.2
container_name: elasticsearch
environment:
- "cluster.name=elasticsearch"
- "discovery.type=single-node"
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
- /data/elk/es/data:/usr/share/elasticsearch/data
- /data/elk/es/logs:/usr/share/elasticsearch/logs
- /data/elk/es/plugins:/usr/share/elasticsearch/plugins
ports:
- 9200:9200
kibana:
image: kibana:7.15.2
container_name: kibana
links:
- elasticsearch:es
depends_on:
- elasticsearch
environment:
- "elasticsearch.hosts=http://es:9200"
ports:
- 5601:5601
logstash:
image: logstash:7.15.2
container_name: logstash
volumes:
- /data/elk/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
depends_on:
- elasticsearch
links:
- elasticsearch:es
ports:
- 4560:4560
# Step 3: 执行命令
docker-compose up -d
*
*
*