03： 分布式ELK平台、ES安装 、 扩展插件 、Kibana安装

最新推荐文章于 2024-03-24 14:14:38 发布
最新推荐文章于 2024-03-24 14:14:38 发布
阅读量205 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixi1067087210/article/details/83375995
版权

Top

NSD ARCHITECTURE DAY03

  1. 案例1：ES集群安装
  2. 案例2：ES集群安装配置
  3. 案例3：练习curl命令
  4. 案例4：练习插件
  5. 案例5：插入，增加，删除查询数据
  6. 案例6：安装Kibana

1 案例1：ES集群安装

1.1 问题

本案例要求：

  • 准备1台虚拟机
  • 部署elasticsearch第一个节点
  • 访问9200端口查看是否安装成功

1.2 方案

1）ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表：

Elasticsearch:负责日志检索和储存

Logstash:负责日志的收集和分析、处理

Kibana:负责日志的可视化

2) ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管理系统监控等，故障排查，安全信息和事件管理，报表功能

部署Elasticsearch分布式集群安装，Kibana作为可视化平台，实时总结流量和数据的图表，Logstash用来收集处理日志，如表-1所示：

表-1

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：先准备一台虚拟机

1）更改主机名，配置IP，搭建第三方yum源(之前已经搭建过几次,这里不再赘述)

 
  1. [root@se1 ~]# echo se1 > /etc/hostname
  2. [root@se1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
  3. # Generated by dracut initrd
  4. DEVICE="eth0"
  5. ONBOOT="yes"
  6. IPV6INIT="no"
  7. IPV4_FAILURE_FATAL="no"
  8. NM_CONTROLLED="no"
  9. TYPE="Ethernet"
  10. BOOTPROTO="static"
  11. IPADDR=192.168.1.61
  12. PREFIX=24
  13. GATEWAY=192.168.1.254
  14. [root@se1 ~]# vim /etc/yum.repos.d/local.repo
  15. [local_repo]
  16. name=CentOS-$releasever - Base
  17. baseurl="ftp://192.168.1.254/system"
  18. enabled=1
  19. gpgcheck=1
  20.  
  21. [elk]
  22. name=elk
  23. baseurl="ftp://192.168.1.254/elk"
  24. enabled=1
  25. gpgcheck=0

2）部署elasticsearch第一个节点

 
  1. [root@se1 ~]# vim /etc/hosts
  2. 192.168.1.61 se1
  3. 192.168.1.62 se2
  4. 192.168.1.63 se3
  5. 192.168.1.64 se4
  6. 192.168.1.65 se5
  7.  
  8. [root@se1 ~]# yum -y install java-1.8.0-openjdk.x86_64
  9. [root@se1 ~]# java -version
  10. openjdk version "1.8.0_131"
  11. OpenJDK Runtime Environment (build 1.8.0_131-b12)
  12. OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
  13. [root@se1 ~]# sestatus     //查看selinux状态
  14. SELinux status: disabled
  15. [root@se1 ~]# yum -y install elasticsearch
  16. [root@se1 ~]# vim /etc/elasticsearch/elasticsearch.yml
  17. 17 cluster.name: myelk        //配置集群名字
  18. 23 node.name: se1        //当前主机名称
  19. 54 network.host: 0.0.0.0     // 0.0.0.0（监听所有地址）
  20. 68 discovery.zen.ping.unicast.hosts: ["se1", "se2","se3"]
  21. //声明集群里的主机成员有谁，不需要全部写进去
  22. [root@se1 ~]# systemctl restart elasticsearch
  23. [root@se1 ~]# systemctl enable elasticsearch
  24. [root@se1 ~]# ss -antup | grep 9200
  25. tcp LISTEN 0 50 :::9200 :::* users:(("java",pid=23231,fd=110))

3）访问9200端口查看是否安装成功，如图-1所示：

图-1

2 案例2：ES集群安装配置

2.1 问题

本案例要求：

  • 一共安装5台虚拟机
  • 在所有机器中部署ES
  • 启动服务查看验证集群状态

2.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：安装elasticsearch和java-1.8.0-openjdk，同步配置文件

备注：在步骤一已经安装了一台elasticsearch，这里只需再准备四台即可

1）更改对应的主机名、 ip地址以及搭建yum源（以案例1为例子）

2）安装elasticsearch四台主机同样操作（以se2为例子）

 
  1. [root@se2 ~]# yum -y install java-1.8.0-openjdk.x86_64
  2. [root@se2 ~]# yum -y install elasticsearch

3）同步配置/etc/hosts和/etc/elasticsearch/elasticsearch.yml, 修改node.name字段（以se2为例子）

 
  1. [root@se1 ~]# for i in {62..65} ; do scp /etc/hosts 192.168.1.$i:/etc/hosts; done
  2. [root@se1 ~]# for i in {62..65} ; do scp \
  3. /etc/elasticsearch/elasticsearch.yml \
  4. 192.168.1.$i:/etc/elasticsearch/elasticsearch.yml; done
  5.  
  6. [root@se2 ~]# vim /etc/elasticsearch/elasticsearch.yml
  7. node.name: se2 //另外三台修改为对应se3，se4，se5
  8. [root@se2 ~]# systemctl restart elasticsearch
  9. [root@se2 ~]# systemctl enable elasticsearch

4）访问测试，如图-2所示：

可以访问61-65的任意一台主机， 集群的节点都是5台，若先启动的是se4或se5，这两个会自动成为各自的集群，解决办法，先启动集群里的se1或se2或se3其中的一台，或者把se4和se5重启，se4和se5会自动加进去

ES 集群验证：返回字段解析：

”status”: ”green“ 集群状态：绿色为正常、黄色表示有问题但不是很严重、红色表示严重故障

”number_of_nodes”： 5, 表示集群中节点的数量

图-2

3 案例3：练习curl命令

3.1 问题

本案例要求：

  • 练习使用curl命令
  • 理解GET POST
  • 使用curl命令访问ES集群

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：curl命令的使用

http的请求方法：

常用方法 GET，POST，HEAD

其他方法 OPTIONS，PUT，DELETE，TRACE和CONNECT

ES常用：

PUT --增

DELETE --删

POST --改

GET --查

系统命令curl：

是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持多种请求模式,自定义请求头等强大功能,是一款综合工具

curl 常用参数介绍：

-A 修改请求 agent

-X 设置请求方法

-i 显示返回头信息

1）索引的分片信息，如图-1所示：

 
  1. [root@room9pc01 ~]# curl -X GET http://192.168.1.61:9200/_cat        

图-1

2）显示health的详细信息，如图-2所示：

 
  1. [root@room9pc01 ~]# curl -X GET http://192.168.1.62:9200/_cat/health?v

图-2

3）查看nodes的帮助，如图-3所示：

 
  1. [root@room9pc01 ~]# curl -X GET http://192.168.1.61:9200/_cat/nodes?help

图-3

4 案例4：练习插件

4.1 问题

本案例要求：

  • 在其中一台机器上部署插件
  • 使用bigdesk查看集群状态
  • 使用head创建index
  • 使用kopf查看数据

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：部署插件

插件装在哪一台机器上，只能在哪台机器上使用（这里安装在se5机器上面）

1）使用远程 uri 路径可以直接安装

 
  1. [root@se5 ~]# cd /usr/share/elasticsearch/bin
  2. [root@se5 bin]# ./plugin install \
  3. ftp://192.168.1.254/elk/elasticsearch-head-master.zip        //安装head插件
  4. [root@se5 bin]# ./plugin install \
  5. ftp://192.168.1.254/elk/elasticsearch-kopf-master.zip        //安装kopf插件
  6. [root@se5 bin]# [root@se5 bin]# ./plugin install \
  7. ftp://192.168.1.254/elk/bigdesk-master.zip
  8. //安装bigdesk插件     
  9. [root@se5 bin]# ./plugin list        //查看安装的插件
  10. Installed plugins in /usr/share/elasticsearch/plugins:
  11. - head
  12. - kopf
  13. - bigdesk

2）访问head插件，如图-4所示：

 
  1. [root@room9pc01 ~]# firefox http://192.168.1.65:9200/_plugin/head

图-4

3）访问kopf插件，如图-5所示：

 
  1. [root@room9pc01 ~]# http://192.168.1.65:9200/_plugin/kopf

图-5

4）访问bigdesk插件，如图-6所示：

 
  1. [root@room9pc01 ~]# http://192.168.1.65:9200/_plugin/bigdesk

  2.  

图-6

步骤二：使用head创建index

 
  1. [root@se5 bin]# curl -X PUT "http://192.168.1.65:9200/index" -d '
  2. > {
  3. > "settings":{
  4. > "index":{
  5. > "number_of_shards":5,        //分片数
  6. > "number_of_replicas":1        //副本数
  7. > }
  8. > }
  9. > }'
  10. {"acknowledged":true}

步骤三：使用kopf查看数据，如图-7所示：

图-7

5 案例5：插入，增加，删除查询数据

5.1 问题

本案例要求：

  • 使用curl命令连接使用ES数据库
  • 使用PUT方法增加数据
  • 使用POST修改数据
  • 使用GET查询数据
  • 使用DELETE删除数据

5.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：增加数据

 
  1. [root@se5 ~]# locale
  2. [root@se5 ~]# LANG=en_US.UTF-8 //设置编码
  3. [root@se5 ~]# curl -X PUT "http://192.168.1.65:9200/taindex/teacher/1" -d '{
  4. "职业":"诗人",
  5. "名字":"李白",
  6. "称号":"诗仙",
  7. "年代":"唐"
  8. }'
  9. {"_index":"taindex","_type":"teacher","_id":"1","_version":2,"_shards":{"total":2,"successful":2,"failed":0},"created":false}

步骤二：修改数据

 
  1. [root@se5 ~]# curl -X PUT "http://192.168.1.65:9200/taindex/teacher/1" -d '{
  2. "doc":{
  3. "年代": "唐代"
  4. }
  5. }'
  6. {"_index":"taindex","_type":"teacher","_id":"1","_version":3,"_shards":{"total":2,"successful":2,"failed":0},"created":false}

步骤三：查询数据

 
  1. [root@se5 ~]# curl -X GET "http://192.168.1.65:9200/taindex/teacher/3?pretty"
  2. {
  3. "_index" : "taindex",
  4. "_type" : "teacher",
  5. "_id" : "3",
  6. "found" : false
  7. }

步骤四：删除数据

 
  1. [root@se5 ~]# curl -X DELETE "http://192.168.1.65:9200/taindex/teacher/3?pretty"
  2. {
  3. "found" : false,
  4. "_index" : "taindex",
  5. "_type" : "teacher",
  6. "_id" : "3",
  7. "_version" : 1,
  8. "_shards" : {
  9. "total" : 2,
  10. "successful" : 2,
  11. "failed" : 0
  12. }
  13. }

步骤五：删除索引

 
  1. [root@se5 bin]# curl -X DELETE http://192.168.1.65:9200/taindex/
  2. //删除索引
  3. {"acknowledged":true}
  4. [root@se5 bin]# curl -X DELETE http://192.168.1.65:9200/*     //删除所有索引
  5. {"acknowledged":true}

6 案例6：安装Kibana

6.1 问题

本案例要求：

  • 安装Kibana
  • 配置启动服务查看5601端口是否正常
  • 通过web页面访问Kibana

6.2 步骤

实现此案例需要按照如下步骤进行

步骤一：安装kibana

1）在另一台主机，配置ip为192.168.1.66，配置yum源，更改主机名

2）安装kibana

 
  1. [root@kibana ~]# yum -y install kibana
  2. [root@kibana ~]# rpm -qc kibana
  3. /opt/kibana/config/kibana.yml
  4. [root@kibana ~]# vim /opt/kibana/config/kibana.yml
  5. 2 server.port: 5601        
  6. //若把端口改为80，可以成功启动kibana，但ss时没有端口，没有监听80端口，服务里面写死了，不能用80端口，只能是5601这个端口
  7. 5 server.host: "0.0.0.0"        //服务器监听地址
  8. 15 elasticsearch.url: http://192.168.1.61:9200    
  9. //声明地址，从哪里查，集群里面随便选一个
  10. 23 kibana.index: ".kibana"    //kibana自己创建的索引
  11. 26 kibana.defaultAppId: "discover"    //打开kibana页面时，默认打开的页面discover
  12. 53 elasticsearch.pingTimeout: 1500    //ping检测超时时间
  13. 57 elasticsearch.requestTimeout: 30000    //请求超时
  14. 64 elasticsearch.startupTimeout: 5000    //启动超时
  15. [root@kibana ~]# systemctl restart kibana
  16. [root@kibana ~]# systemctl enable kibana
  17. Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /usr/lib/systemd/system/kibana.service.
  18. [root@kibana ~]# ss -antup | grep 5601 //查看监听端口

3）浏览器访问kibana，如图-8所示：

 
  1. [root@kibana ~]# firefox 192.168.1.66:5601

图-8

4）点击Status，查看是否安装成功，全部是绿色的对钩,说明安装成功，如图-9所示：

图-9

5）用head插件访问会有.kibana的索引信息，如图-10所示：

 
  1. [root@se5 ~]# firefox http://192.168.1.65:9200/_plugin/head/

图-10

xixi1067087210
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
三十、elasticsearch集群
icbbm的博客
11-28 1916
Elasticsearch是一个开源的分布式搜索引擎，能够快速地进行全文检索、结构化搜索、分析等操作。为了增加其可靠性和容错性，Elasticsearch支持多节点之间的集群，并采用了Shard（分片）和Replica（副本）机制来分摊负载、提高可用性。下面我们来详细讲解一下Elasticsearch集群的概念、架构和部署方式。
ES(ElasticSearch)快速入门和集群搭建
m0_55794726的博客
12-02 3123
ES作为一个索引及搜索服务，对外提供丰富的REST接口，快速入门部分的实例使用kibana来测试，目的是对ES的使用方法及流程有个初步的认识。
ElasticSearch学习笔记（8）· ES集群的搭建
一个到老才知道分享的人的博客
10-30 1401
目录十三、集群的实现1、相关概念集群（cluster）节点（node）分配和复制（shards & replicas）2、快速搭建集群3、安装head插件 十三、集群的实现 1、相关概念 集群（cluster） 一个集群就是由一个或多个节点组织在一起，他们共同持有你整个的数据，并一起提供索引和搜索功能，一个集群由一个唯一的名字标识，这个名字默认就是elasticsearch,这个名字是重要的，因为一个节点之恶能通过指定某个集群的名字，来加入这个集群，在产品环境中显式地设定这个名字是一个好习惯，但是
ElasticSearch 集群
凉茶铺的博客
04-24 2434
介绍了ElasticSearch 集群
【ES专题】ElasticSearch集群架构剖析
qq_32681589的博客
11-05 3348
使用何种通信协议去同步数据，互相通信采用何种策略同步数据（异步还是同步）如何保证一致性，保证到什么程度（【最终一致性】 or【实时一致性 / 强一致性】）使用何种算法去选举主次节点（感觉这个比较随意，通常为了快速恢复服务，选举流程是怎么快怎么来，但是不能出现【脑裂问题】）
ELK架构之Elasticsearch和Kibana安装配置
02-25
ELK是三个开源软件的缩写，分别为：Elasticsearch、Logstash以及Kibana，它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具（Agent），Beats占用资源少，适合于在各个服务器上搜集...
第六十一章：部署ELK分布式日志分析平台1
08-08
ELK是Elasticsearch、Logstash和Kibana三个开源软件的组合。现在，Beats也被纳入其中，成为Elastic Stack的一部分。Elasticsearch是一个强大的开源搜索引擎，具备数据收集、分析和存储能力。Logstash负责日志收集、...
elk:elasticsearch+logstash+kibana
07-14
ELK（Elasticsearch, Logstash, Kibana）是一个流行的开源日志分析和可视化解决方案，广泛用于收集、解析、存储和展示各种日志数据。这个压缩包包含了ELK堆栈的主要组件，版本为7.6.1，适用于Linux x86_64架构。 **...
ELK:Elasticsearch Logstash和Kibana教程
05-17
Elasticsearch 是一个开源的分布式搜索引擎，以实时、高可扩展性和强大的数据分析能力而闻名。它基于Lucene构建，提供了一个分布式、全文检索、分析和存储的平台，适合处理海量数据并进行实时搜索。Elasticsearch...
ELK集群部署（elasticsearch\logstash\kibana）
01-18
ELK堆栈，即Elasticsearch、Logstash和Kibana，是用于日志管理和分析的强大工具组合。这个集群部署方案旨在提供一个高效且可扩展的日志解决方案，帮助IT管理员和开发人员监控、搜索、分析和可视化大量系统、应用及...
es 集群简单介绍及搭建
最新发布
一弓虽的博客
03-24 1844
简单介绍es集群的基本概念，如何搭建es集群
es--基础--06--es集群
zhou920786312的博客
12-29 842
一、 集群概念 概念看es入门学习3-理论 二、集群的搭建 利用原有的单机(elasticsearch-5.6.8)来搭建 搭建三台es服务器,分别提供的端口是9201，9202，9203 2.1、停止elasticsearch-5.6.8的es服务 2.2、删除elasticsearch-5.6.8服务的索引记录 cd /usr/local/java/elasticsearch/elasticsearch-5.6.8/data rm -rf nodes/ 2.3、拷贝三台es服务器 cp -r
【ES】分布式集群
weixin_42926863的博客
04-27 1286
ES集群
ES集群（一）简介与集群搭建
热门推荐
w_t_y_y的博客
11-09 1万+
一、简介： 二、集群环境搭建：
ES集群核心概念基本介绍
Java搜索工程技术栈
04-05 3367
1）Cluster：集群 ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群，集群内的节点的cluster.name相同。 2）Node：节点 形成集群的每个服务器称为节点。 ES 为分配不同的任务，定义了以下几个节点角色：Master,Data Node,Coordinating Node,Ingest Node Master 节点：每个 ES 节点启动之前都会有个默认配置 node.master:t
【ElasticSearch】ES集群搭建、监控、故障转移
llg___的博客
07-13 2375
海量数据存储问题单点故障问题因此，考虑使用ES集群：海量数据存储问题：将索引库从逻辑上拆分为N个分片（shard），存储到多个节点。如此，ES的存储能力就是所有节点存储能力的总和单点故障问题：将分片数据在不同的节点备份（replica），即主分片和副本分片不能在同一个节点。
ES的集群部署
weixin_42666548的博客
05-26 5053
ES的集群部署
【ElasticSearch系列-06】Es集群架构的搭建以及集群的核心概念
zhenghuishengq的博客
11-07 3754
深入理解Es集群架构的搭建以及集群的核心概念
ElasticSearch核心概念
Angus
05-31 436
这个是我看到的对一些概念介绍比较清楚。于是就剪切了下来。后边会持续加入自己的内容。由于别人的较多，所以就标位非原创了。 Near Realtime (NRT)近实时：数据提交索引后，立马就可以搜索到。注意是近实时，不是绝对的实时，比方说一秒以后可以被看到。 Cluster集群：一个集群由一个唯一的名字标识，默认为“elasticsearch”。集群名称非常重要，具体相同集群名的节点才会组成一个集群。集群名称可以在配置文件中指定。集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生..
"深入浅出：分布式搜索引擎elasticsearch基础解析
其中，elasticsearch作为一款开源搜索引擎，与kibana、Logstash和Beats等工具组成了elastic stack（ELK），在日志数据分析和实时监控等领域被广泛应用。 elasticsearch具有以下一些重要概念和功能： 1. 初识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值