一、分布式ELK平台
1)ELK简介
1.什么是ELK
ELK是一整套解决方案,是三个软件产品的首字母缩写,很多公司都在使用,如Sina,携程,华为,美团
ELK分别代表:
Elasticsearch:负责日志检索和储存
Logstash:负责日志的收集和分析,处理
Kibana:负责日志的可视化
这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故简称ELK
2.ELK组件在海量日志系统的运维中,可用于解决
分布式日志数据集中式查询和管理
系统监控,包含系统硬件和应用各个组件的监控
故障排查
安全信息和事件管理
报表功能
2)Elasticsearch
1.Elasticsearch部分
Elasticsearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful的Web接口
Elasticsearch是用Java开发的,并作为Apache许可条件下的源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便
主要特点:
实时分析
分布式实时文件存储,并将每一个字段都编入索引
文档导向,所有的对象全部是文档
高可用性,易扩展,支持集群(Cluster),分片和复制(Shards和Replicas)
接口友好,支持JSON
ES没有什么
Elasticsearch没有典型意义的事务
Elasticsearch是一种面向文档的数据库
Elasticsearch没有提供授权和认证特性
相关概念:
Node:装有一个ES服务器的节点
Cluster:有多个Node组成的集群
Document:一个可被搜索的基础信息单元
Index:拥有相似特征的文档的集合
Type:一个索引中可以定义一种或多种类型
Filed:是ES的最小单位,相当于数据的某一列
Shards:索引的分片,每一片就是一个shard
Replicas:索引的拷贝
2.SQL与NoSQL
ES与关系型数据库的对比
在ES中,文档属于一种类型(type),而这些类型存在于索引(index)中,类比创痛关系型数据库
DB -> Databases -> Tables -> Rows -> Columns
关系型 数据库 表 行 列
ES -> Indices -> Types -> Documents -> Fie
大型架构及配置技术ELK(一)之分布式ELK平台,ES集群安装,扩展插件
最新推荐文章于 2023-01-14 22:28:23 发布
这篇博客介绍了ELK(Elasticsearch, Logstash, Kibana)分布式平台的用途,特别是Elasticsearch在日志管理和系统监控中的作用。详细讲解了Elasticsearch的特点、核心概念,以及如何在Linux环境下安装和配置ES集群,包括设置集群名称、节点标识、网络配置等。此外,还提到了ES插件的使用和通过RESTful API进行操作。"
124308708,13488279,Python列表生成:效率对比,"['Python', '数据结构', '算法', '性能测试']
摘要由CSDN通过智能技术生成