![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构设计
文章平均质量分 92
ColorlessCube
学就完事了。
展开
-
Redis 一主一从哨兵模式配置
sentinel 本身是一个独立运行的进程,它能监控 master-slave 集群,发现 master 宕机后能进行自动切换。sentinel 可以让 redis 实现主从复制,当一个集群中的 master 失效之后,sentinel 可以选举出一个新的 master 用于自动接替 master 的工作,集群中的其他 redis 服务器自动指向新的 master 同步数据。一般建议 sentinel 采取奇数台,防止某一台 sentinel 无法连接到 master 导致误切换。原创 2022-11-07 15:01:02 · 3739 阅读 · 0 评论 -
Kafka 安装及基本入门
Kafka 是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa 支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了 Kafka Connect、Kafka Streams 以支持连接其他系统的数据源,如 ES、Hadoop 等。Kafka 最核心的最成熟的还是他的消息引擎,所以 Kafka 大部分应用场景还是用来作为消息队列削峰平谷。另外,Kafka 也是目前性能最好的消息中间件。原创 2022-10-27 10:57:44 · 1636 阅读 · 1 评论 -
Logstash HA 实现
为了实现 kafka 集群的大批量数据的实时性处理,需要多个 logstash 将其入 es,需要测试 logstash 的 loadbalance 和 HA 能力,因此设计以下测试场景。原创 2022-10-24 13:00:39 · 1070 阅读 · 0 评论 -
Logstash 数据保护机制
在 Kafka => Logstash => ES 的架构设计中,如果 Logstash 或 ES 侧的集群发生了宕机,是否会造成数据的丢失或者磁盘或内存的溢出,这是需要关心的问题。因此,需要对 Logstash 的 ES output 断联问题进行测试。原创 2022-10-24 12:59:39 · 1519 阅读 · 0 评论 -
Logstash 基本入门
Logstash 数据传输管道所具备的流水线特征,体现在数据传输过程分为三个阶段:**输入、过滤和输出**。这三个阶段按顺序依次相连,像一个加工数据的流水线。 在实现上,它们分别由三种类型的插件实现,即输入插件、过滤器插件和输出插件,并可通过修改配置文件实现快速插拔。除了这三种类型的插件以外,还有种称为编解码器(Codec)的插件。编解码器插件用于在数据进入和离开管道时对数据做解码和编码,所以它一般都是与具体的输入插件或输出插件结合起来使用。原创 2022-10-24 12:58:24 · 814 阅读 · 0 评论 -
Logstash 分布式日志管理
日常部署服务时,为了达到 High Available 或是 Load Balance 的目的,经常会在多个服务器部署多个服务实例。不同实例的日志一般都是直接写入本地的日志文件中,一旦出现问题或是日常检查,运维人员需要登录不同的服务器获取日志详情,十分低效。因此,希望能够通过Logstash读取本地日志文件,并进行简单的处理,将非格式文本解析为格式化数据,最终输出到 ES 或是 MySQL 等数据库管理工具进行同一管理查看,提升运维人员的工作效率。原创 2022-10-24 12:57:10 · 973 阅读 · 0 评论