ARCHITECTURE:分布式ELK平台,ES集群

最新推荐文章于 2022-10-09 15:24:35 发布
最新推荐文章于 2022-10-09 15:24:35 发布
阅读量214 收藏
点赞数
分类专栏： ARCHITECTURE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LgMizar/article/details/103919721
版权

文章目录

分布式ELK平台

ELK简介

来源

在微服务开发过程中，一般都会利用多台服务器做分布式部署，如何能够把分散在各个服务器中的日志归集起来做分析处理，是一个微服务服务需要考虑的一个因素。

什么是ELK

  • ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表：
    – Elasticsearch:负责日志检索和储存
    – Logstash:负责日志的收集和分析、处理
    – Kibana:负责日志的可视化
  • 这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下.故被简称为ELK

ELK能做什么

－ ELK组件在海量日志系统的运维中,可用于解决
– 分布式日志数据集中式查询和管理
– 系统监控,包括系统硬件和应用各个组件的监控
– 故障排查
– 安全信息和事件管理
– 报表功能

Elasticsearch

在这里插入图片描述

主要特点

– 实时分析
– 分布式实时文件存储,并将每一个字段都编入索引
– 文档导向,所有的对象全部是文档
– 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards和Replicas)
– 接口友好,支持JSON

ES缺点

– Elasticsearch没有典型意义的事务
– 是一种面向文档的数据库
– 没有提供授权和认证特性

相关概念

– Node: 装有一个ES服务器的节点
– Cluster: 有多个Node组成的集群
– Document: 一个可被搜索的基础信息单元
– Index: 拥有相似特性的文档的集合
– Type: 一个索引中可以定义一种或多种类型
– Filed: 是ES的最小单位,相当于数据的某一列
– Shards: 索引的分片,每一个分片就是一个Shard
– Replicas: 索引的拷贝

ES与关系型数据库的对比

– 在ES中,文档归属一种类型(type), 而这些类型存在于索引(index)中,类比传统关系型数据库

 DB -> Databases -> Tables -> Rows -> Columns
关系型    数据库         表       行        列

ES -> Indices    -> Types -> Dcuments -> Fields
ES       索引         类型       文档      域(字段)
Relational databaseElasticsearch
Databaseindex
TableType
RowDocument
ColumnField
SchemaMapping
IndexEverything is indexed
SQLQuery DSL
SELECT * FROM table…GET http://…
UPDATE table SETPUT http://…

Elasticsearch架构图

在这里插入图片描述

ES集群安装

在这里插入图片描述

  • 主机名
  • IP地址
  • /etc/hosts配置主机名解析
  • yum源 CentOS7-1804.iso 和
[admin@192.168.1.254 ~]$ ls /var/ftp/elk
kibana-4.5.2-1.x86_64.rpm   logstash-2.3.4-1.noarch.rpm  
repodata   filebeat-1.2.3-x86_64.rpm

  • 安装JDK
    – 要求至少java 7
    – 推荐openjdk 1.8

  • 在es1上

vim /etc/yum.repos.d/local.repo 
[local_repo]
name=CentOS-Base
baseurl="ftp://192.168.1.254/system"
enabled=1
gpgcheck=0
[elk]
name=elk
baseurl="ftp://192.168.1.254/elk"
enabled=1
gpgcheck=0

yum -y install java-1.8.0-openjdk.x86_64
java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
sestatus  //查看selinux状态
SELinux status:                 disabled   
yum -y install elasticsearch
vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: myelk   #配置集群名字
23 node.name: es1        #当前主机名称
54 network.host: 0.0.0.0 #0.0.0.0（监听所有地址）
68 discovery.zen.ping.unicast.hosts: ["es1", "es2", "es3"]  
//声明集群里的主机成员有谁，不需要全部写进去
systemctl restart elasticsearch
systemctl enable elasticsearch
ss -antup | grep 9200
ss -antup | grep 9300
  • 查看是否成功
curl http://192.168.1.51:9200
{
  "name" : "es1",
  "cluster_name" : "myelk",
  "version" : {
    "number" : "2.3.4",
    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f",
    "build_timestamp" : "2016-06-30T11:24:31Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

部署多台es

使用ansible部署ES集群
ansible的安装部署请查看ansible基础及部署

vim elk.yml
---
- name: 批量部署elk
  hosts: es
  tasks:
    - name: 配置yum源
      copy:
        src: /etc/yum.repos.d/local.repo
        dest: /etc/yum.repos.d/local.repo
    - name: 配置主机名
      copy:
        src: /etc/hosts
        dest: /etc/hosts
    - name: 安装jdk
      yum:
        name: java-1.8.0-openjdk
        state: installed
    - name: 安装elasticsearch
      yum:
        name: elasticsearch
        state: installed
    - name: 修改elk配置文件
      copy:
        src: /etc/elasticsearch/elasticsearch.yml
        dest: /etc/elasticsearch/elasticsearch.yml
    - replace:
        path: /etc/elasticsearch/elasticsearch.yml
          regexp: 'es1$'
          replace: "${HOSTNAME}"
#或者        replace: "{{inventory_hostname}}"
    - service:
        name: elasticsearch.service
        state: started
        enabled: yes
  • 测试
firefox http://192.168.1.51:9200/_cluster/health?pretty

在这里插入图片描述

ES插件使用

head插件

在这里插入图片描述

kopf插件

在这里插入图片描述

bigdesk插件

在这里插入图片描述

安装

插件装在哪一台机器上，只能在哪台机器上使用（这里安装在es5机器上面）

cd /usr/share/elasticsearch/bin
./plugin  install  \ 
ftp://192.168.1.254/elk/elasticsearch-head-master.zip     #安装head插件

./plugin  install  \ 
ftp://192.168.1.254/elk/elasticsearch-kopf-master.zip     #安装kopf插件

./plugin install  \
ftp://192.168.1.254/elk/bigdesk-master.zip
#安装bigdesk插件

./plugin  list   #查看安装的插件
Installed plugins in /usr/share/elasticsearch/plugins:
    - head
    - kopf
    - bigdesk

访问head插件

firefox http://192.168.1.55:9200/_plugin/head
在这里插入图片描述

访问kopf插件

firefox http://192.168.1.55:9200/_plugin/kopf
在这里插入图片描述

访问bigdesk插件

firefox http://192.168.1.55:9200/_plugin/bigdesk
在这里插入图片描述

使用head创建index
curl -X PUT "http://192.168.1.55:9200/index" -d '
> {
>     "settings":{
>     "index":{
>     "number_of_shards":5,    #分片数
>     "number_of_replicas":1   #副本数
>    }
>   }
> }'
{"acknowledged":true}

扩展插件

RESTful API

HTTP协议简介
  • http请求由三部分组成
    在这里插入图片描述
  • http请求方法
    – 常用方法GET,POST,HEAD
    – 其他方法 OPTIONS,PUT,DELETE,TRACE和CONNECT
  • ES常用
    – PUT ----增
    – DELETE ----删
    – POST -----改
    – GET —查
系统命令curl
  • 在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款跟强大的http命令行工具.它支持多种请求模式,自定义请求头等强大功能,是一款综合工具
  • curl常用参数介绍
    – -A 修改请求agent
    – -X 设置请求方法
    – -i 显示返回头信息

RESTful API调用

  • Elasticsearch提供一系列RESTful的API
    – 检查集群,节点,索引的健康度,状态和统计
    – 管理集群,节点,索引的数据及元数据
    – 对索引进行CRUD操作及查询操作
    – 执行其他高级操作如分页,排序,过滤等
  • POST或PUT数据使用json格式
  • JSON
    — JSON(JavaScript Object NOtation),意思是JavaScript对象表达法,它是一种基于文本独立于语言的轻量级数据交换格式
  • RESTful API的简单使用
    – _cat API查询集群状态,节点信息
    – v参数显示详细信息
    curl http://192.168.1.51:9200/_cat/health?v
    — help显示帮助信息
    curl http://192.168.1.51:9200/_cat/health?help
    – nodes查询节点状态信息
    curl http://192.168.1.51:9200/_cat/nodes?v
    – 索引信息
    curl http://192.168.1.51:9200/_cat/indices?v
增加数据
curl -X PUT "http://192.168.1.55:9200/tedu/teacher/1" -d '{
"职业":"诗人",
"名字":"李白",
"称号":"诗仙",
"年代":"唐"
}'
{"_index":"tedu","_type":"teacher","_id":"1","_version":1,"_shards":{"total":2,"successful":2,"failed":0},"created":true}
修改数据
curl -X PUT "http://192.168.1.55:9200/tedu/teacher/1" -d '{
 "doc":{
 "年代": "唐代"
 }
 }'
{"_index":"tedu","_type":"teacher","_id":"1","_version":3,"_shards":{"total":2,"successful":2,"failed":0},"created":false}

或者

curl -X POST "http://192.168.1.55:9200/tedu/teacher/1/_update" -d '{
 "doc":{
 "年代": "唐代"
 }
 }'
{"_index":"tedu","_type":"teacher","_id":"1","_version":3,"_shards":{"total":2,"successful":2,"failed":0},"created":false}
查询数据
curl -X GET "http://192.168.1.55:9200/tedu/teacher/3?pretty"
{
  "_index" : "tedu",
  "_type" : "teacher",
  "_id" : "3",
  "found" : false
}
删除数据
curl -X DELETE "http://192.168.1.55:9200/tedu/teacher/3?pretty"
{
  "found" : false,
  "_index" : "tedu",
  "_type" : "teacher",
  "_id" : "3",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  }
}
删除索引
curl -X DELETE http://192.168.1.55:9200/tedu/ #删除索引
{"acknowledged":true}
curl -X DELETE http://192.168.1.65:9200/*  #删除所有索引
{"acknowledged":true}
导入数据
gzip  -d logs.jsonl.gz
curl -X POST "http://192.168.1.51:9200/_bulk"  \ 
--data-binary @logs.jsonl
LgMizar
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
03： 分布式ELK平台、ES安装 、 扩展插件 、Kibana安装
xixi1067087210的博客
10-25 196
Top NSD ARCHITECTURE DAY03 案例1：ES集群安装 案例2：ES集群安装配置 案例3：练习curl命令 案例4：练习插件 案例5：插入，增加，删除查询数据 案例6：安装Kibana 1 案例1：ES集群安装 1.1 问题 本案例要求： 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1.2 方案 1）...
第六十一章：部署ELK分布式日志分析平台1
08-08
2.传输－能够稳定的把日志数据传输到中央系统 3.存储－如何存储日志数据 4.分析－可以支持 UI 分析 5.警告－能够提供错误报告，监控机制
（三）分布式系统-Architectures
HETUW的博客
10-09 127
分布式系统-Architectures
分布式ELK平台 、 ES集群安装 、 扩展插件 案例
qq_36345864的博客
03-24 190
Top NSD ARCHITECTURE DAY03 案例1：ES集群安装 案例2：ES集群安装配置 案例3：练习插件 案例4：插入，增加，删除查询数据 案例5：导入数据 1 案例1：ES集群安装 1.1 问题 本案例要求： 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1.2 方案 1）ELK是日志分析平台，不是一款软件,...
云计算进阶(八)-分布式ELK平台 、 ES集群安装 、 扩展插件
上善若水~的博客
08-12 554
Architecture 003分布式ELK平台 、 ES集群安装 、 扩展插件 分布式ELK平台 数据库(核心) Web集群(核心) 缓存服务器 ELK集群:日志分析,处理 一 ELK介绍 1 ELK是一整套解决方案,是三个软件产品的首字母缩写,很多公司都在使用,比如华为,携程,美团,sina ELK:Elasticsearch:日志检索与存储 ->M Logstash...
ELK——ElasticStack日志分析平台
611 - 菜鸟运维逆袭架构师之路
07-17 1806
ELK+Kafka构建高并发分布式日志收集系统集群前言kafkakafka特性kafka与ELK相关术语ELK+kafka实战Elasticsearch集群安装配置 前言 kafka 高吞吐量的分布式发布订阅消息系统 kafka特性 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量︰即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 kafka与ELK 业务层可以直接写入到kafka
开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引
热门推荐
Gary 的影响力
04-15 1万+
Github, FogCreek, Stackoverflow, Foursquare，等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务。博主甄选了以下有用的中英文slides以及blogs或相关的学习网站分享出来, 内容包括分布式索引与搜索服务Elasticsearch, logstash,数据可视化服务Kibana的学习资源，可以极大减少入门ELK的时间成本。
ELK简介 es集群部署 es插件应用
weixin_30443813的博客
04-28 115
Top NSD ARCHITECTURE DAY03 案例1：ES集群安装 案例2：ES集群安装配置 案例3：练习curl命令 案例4：练习插件 案例5：插入，增加，删除查询数据 案例6：安装Kibana 1 案例1：ES集群安装 1.1 问题 本案例要求： 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 ...
Elasticsearch 生产环境集群部署最佳实践
铭毅天下Elasticsearch
03-08 8329
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。本文的最佳实践基于每天增量数亿+ 的线上环境。少啰嗦，上干货。1、内存Elasticsearc...
ELK日志分析平台
weixin_46018506的博客
01-07 1391
一.ELK架构 二.filebeat 日志收集 可以使用 Filebeat 收集各种日志，之后发送到指定的目标系统上，但是同一时间只能配置一个输出目标。Filebeat 会对配置好的日志内容进行收集，第一次会从每个文件的开头一直读到当前文件的最后一行。 每一行称为一个事件，格式是一个包含很多字段的大字典，也就是 JSON 格式的数据。在 Filebeat中负责完成这个动作的官方称它为 Harvester (收割机)。每个事件将来会被保存到 Elasticsearch 中 在收割机读到文件的最后，会停
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是...
ELK:搭建ELK日志分析平台
04-13
Elasticsearch 2.3.2 logstash 2.2.4 Kibana 4.4.2 filebeat 1.2.2 topbeat 1.2.2 搭建ELK日志分析平台。此处为其核心配置文件。具体搭建过程请参考文档 Screenshots elasticsearch索引列表 Nginx日志分析 Syslog...
ELK:NOC ELK + FORTINET日志
05-10
ELK设置来监视Fortigate日志===============================================工具麋鹿[如何安装ELK泊坞窗]（ ） 抵制配置Fortigate SysLog 第一步是配置... 在Elasticsearch中存储会话数据每周会产生数百GB的数据，
elk-formula:用于ELK（Elasticsearch，Logstash，Kibana）堆栈的SaltStack公式
03-15
麋鹿公式执照版本控制建造 用于ELK（Elasticsearch，Logstash，Kibana）堆栈的SaltStack公式。可用状态状态内容描述elk.config 配置ELK。 elk.config.nginx 为Kibana HTTPS配置NGINX。 elk.service.elasticsearch ...
前18大旋转修整器企业占据全球87%的市场份额.docx
05-06
前18大旋转修整器企业占据全球87%的市场份额
Planet-SkySat-Imagery-Product-Specification-Jan2020.pdf
05-06
SKYSAT IMAGERY PRODUCT SPECIFICATION PLANET.COM VIDEO Full motion videos are collected between 30 and 120 seconds by a single camera from any of the active SkySats. Videos are collected using only the Panchromatic half of the camera, hence all videos are PAN only. Videos are packaged and delivered with a video mpeg-4 file, plus all image frames with accompanying video metadata and a frame index file (reference Product Types below)
Screenshot_20240506_133458_com.netease.yhtj.vivo.jpg
05-06
Screenshot_20240506_133458_com.netease.yhtj.vivo.jpg
2019年A~F题特等奖论文合集.pdf
最新发布
05-06
大学生，数学建模，美国大学生数学建模竞赛，MCM/ICM，历年美赛特等奖O奖论文
docker compose elk集群
11-15
image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 container_name: elasticsearch environment: - node.name=elasticsearch - discovery.seed_hosts=elasticsearch - cluster.initial_master_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值