ElasticSearch
文章平均质量分 94
ColorlessCube
学就完事了。
展开
-
Logstash HA 实现
为了实现 kafka 集群的大批量数据的实时性处理,需要多个 logstash 将其入 es,需要测试 logstash 的 loadbalance 和 HA 能力,因此设计以下测试场景。原创 2022-10-24 13:00:39 · 1118 阅读 · 0 评论 -
Logstash 数据保护机制
在 Kafka => Logstash => ES 的架构设计中,如果 Logstash 或 ES 侧的集群发生了宕机,是否会造成数据的丢失或者磁盘或内存的溢出,这是需要关心的问题。因此,需要对 Logstash 的 ES output 断联问题进行测试。原创 2022-10-24 12:59:39 · 1582 阅读 · 0 评论 -
Logstash 基本入门
Logstash 数据传输管道所具备的流水线特征,体现在数据传输过程分为三个阶段:**输入、过滤和输出**。这三个阶段按顺序依次相连,像一个加工数据的流水线。 在实现上,它们分别由三种类型的插件实现,即输入插件、过滤器插件和输出插件,并可通过修改配置文件实现快速插拔。除了这三种类型的插件以外,还有种称为编解码器(Codec)的插件。编解码器插件用于在数据进入和离开管道时对数据做解码和编码,所以它一般都是与具体的输入插件或输出插件结合起来使用。原创 2022-10-24 12:58:24 · 862 阅读 · 0 评论 -
Logstash 分布式日志管理
日常部署服务时,为了达到 High Available 或是 Load Balance 的目的,经常会在多个服务器部署多个服务实例。不同实例的日志一般都是直接写入本地的日志文件中,一旦出现问题或是日常检查,运维人员需要登录不同的服务器获取日志详情,十分低效。因此,希望能够通过Logstash读取本地日志文件,并进行简单的处理,将非格式文本解析为格式化数据,最终输出到 ES 或是 MySQL 等数据库管理工具进行同一管理查看,提升运维人员的工作效率。原创 2022-10-24 12:57:10 · 993 阅读 · 0 评论 -
ElasticSearch 基本入门
ElasticSearch 基本入门原创 2021-10-24 12:20:49 · 2277 阅读 · 0 评论