日志收集分析平台项目-2-项目原理

目录

零碎概念

怎么实现高可用:

目前主流的消息中间件

消息中间件的两种通信方式

kafka消息中间件通常用于

版本问题

项目描述

nginx集群、filebeat

为什么要搭建nginx反向代理集群

反向代理和正向代理

keepalive原理

为什么要使用filebeat

kafka集群

为什么要使用kafka

kafka里的一些元素

kafka如何保证高可用

ISR -- 集合列表 -- in-sync-replica

kafka可以按照两个维度清理数据

zookeeper是什么

zookeeper是怎么选举的

zookeeper数据同步

zk在kafka中的作用

如何保证数据的一致性

消费组

消费者如何知道自己消费到了哪里

python清洗数据存入数据库

整体大图


零碎概念

怎么实现高可用:

  • 硬件层面
    • 多块网卡 -- 物理层面两块网卡 -- 逻辑层面一块网卡
    • 磁盘 -- 磁盘阵列
  • 架构层面
    • 引入集群
    • 异地多活

目前主流的消息中间件

kafka、ActiveMQ、RocketMQ、RabbitMQ

消息中间件的两种通信方式

  • 点对点:生产者消费者一一对应,消费者消费完,消息中间件就没有了
  • 发布订阅:类似公众号

kafka消息中间件通常用于

  • 日志收集
  • 业务解耦
  • 流量削峰

版本问题

此次项目使用的kafka版本是2.12版本,此版本的kafka需要依靠zookeeper

kafka3.0版本以后已经脱离了zookeeper,kafka能自己实现zookeeper功能

项目描述

通过前端nginx集群收集的访问日志,解析出日志中ip所属的省份、运营商等信息存入数据库

nginx集群、filebeat

在项目中,配置了三台nginx应用集群,在用户和nginx应用集群中间,加入了两台nginx代理集群

为什么要搭建nginx反向代理集群

例如www.sc.com可以解析成多个IP地址,一般来说会使用轮询的方式去解析成各个IP

但是如果其中一个其中一个服务器挂了,DNS不会立马将这个IP地址去掉,还是会解析成挂掉的IP,可能会造成访问失败,虽然客户端有重试,但还是会影响用户体验

所以在应用web前面加反向代理,安全性也会增加,负载均衡的控制也会容易很多

反向代理和正向代理

反向代理是充当web服务器网关的代理服务器

当请求发送到使用反向代理的web服务器时,会将请求先转到反向代理,由该代理确定是将其路由到web服务器还是将其阻止

有了反向代理,用户永远不会与它使用的web服务器进行直接通信

通过负载均衡和缓存,可以保护web免遭攻击,并提供更好的性能

正向代理:客户端和原始服务器之间的服务器,为了从原始服务器取

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值