云原生系列四：Yelp 如何在 Kubernetes 上运行 Kafka

已于 2022-07-21 09:54:46 修改
阅读量8.6k 收藏 20
点赞数 25
分类专栏： 云原生系列 文章标签： 云原生 云开发 kubernetes
于 2022-07-16 12:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63722685/article/details/125811266
版权
本文介绍了Yelp如何将Kafka从AWS EC2迁移到Kubernetes（K8s）上，利用Kafka operator和Cruise Control实现集群管理，减少了对Puppet的依赖，提高了生产力和集群管理效率。
摘要由CSDN通过智能技术生成

案例分享 | Yelp 如何在 Kubernetes 上运行 Kafka（第 1 部分 - 架构）

这几天小叶秋在网上冲浪的时候，发现一些与云原生相关的文章，特地拿来与大家分享~~

本文译自 Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture)[1]。作者：Lennart Rudolph

在 Yelp，Kafka 每天接收数百亿条消息来推进数据驱动并为关键业务管道和服务提供支持。我们最近通过在 PaaSTA （Yelp 自己的平台即服务）上运行集群，对 Kafka 部署架构进行一些改进。基于 K8s 的部署利用了 Kafka 的自定义 Kubernetes operator 以及用于生命周期管理的 Cruise Control 。

架构改进及动机

过去&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
叶秋学长
关注
专栏目录
订阅专栏
kubernetes-kafka:用于Kubernetes的Kafka集成
05-18
库伯伦特斯·卡夫卡（Kuberentes Kafka） 该项目包含使用促进在上部署工具。 它需要Kubernetes 1.7或更高版本.netes。 局限性 必须使用永久卷。 emptyDirs可能会导致数据丢失。 目前通常无法实现存储介质I / O隔离。 考虑使用Pod Anti-Affinity规则将嘈杂的邻居放置在单独的节点上。 Kafka Docker映像 目录包含运行Kafka代理的的 。 清单 目录包含可用于演示目的或生产部署的服务器Kubernetes。 如果您主要直接部署清单，则可以修改其中的任何清单以适合您的用例。 动物园管理员 Kafka需要安装Apache Zookeeper来进行代理配置存储和协调。 可以在找到用于部署合奏的清单和头盔图表。 建议为每个Kafka集群部署一个单独的小型ZooKeeper合奏，而不要使用大型的多租户合奏。 配置和管理 本节包含在Ku
kafka 集群_在 Kubernetes 上部署 Kafka 集群
weixin_39892481的博客
11-22 290
Kafka 是目前最流行的分布式消息发布订阅系统，Kafka 功能非常强大，但它同样也很复杂，需要一个高可用的强大平台来运行，在微服务盛行，大多数公司都采用分布式计算的今天，将 Kafka 作为核心的消息系统使用还是非常有优势的。如果你在 Kubernetes 集群中运行你的微服务，那么在 Kubernetes 中运行 Kafka 集群也是很有意义的，这样可以利用其内置的弹性和高可用特性...
Kubernetes 搭建 Kafka 和 Zookeeper 集群（完整教程）
Vic的博客
08-17 2311
本文完整介绍了在K8S中搭建 Kafka 和 Zookeeper 集群，并且通过修改镜像，实现扩容 Pod 时自动扩展 brokerID 和 zookeeper 集群信息，无需手动干预。 一、服务版本信息： Kafka：v2.13-2.6.0 Zookeeper：v3.6.2 Kubernetes：v1.18.4 二、制作 Zookeeper 镜像 Zookeeper 使用的是 docker hub 中提供的官方镜像，使用如下命令可以直接下载： docker pull zookeeper:3.6
kafka集群 kubernetes_Kubernetes部署Kafka集群
weixin_30095343的博客
01-17 503
一、单节点Kafka要搭建Kafka集群，还是要从单节点开始。1.创建Zookeeper服务zookeeper-svc.yaml和zookeeper-deployment.yaml，用kubectl create -f创建：apiVersion: v1kind: Servicemetadata:labels:app: zookeeper-servicename: zookeeper-service...
【云原生 | Kubernetes 系列】—K8S部署kafka集群
云录
01-05 3875
这里要求能在外部访问到Kafka集群，需要配置三个外网地址，或者一个外网地址+三个端口，依次代理对应后端三个Kafka的Pod容器实例；地址: http://节点ip:30048/ke/account/signin?/ke/ 默认账号密码: admin/123456。1:准备存储,这里我用ceph,需要自己准备存储 2:下载包:kafka_2.12-2.8.2.tgz。1: kafka kafka_2.12-2.8.2版本的Dockerfile镜像制作。3:创建kafka集群 kafka1.yaml。
yelp-nlp:Yelp 学术数据集分析
07-07
yelp-nlp查看之间的关系： Yelp：评论数量Yelp：评论的文字情感Yelp：评论之星城市数据：各种其他有趣的城市数据（交通、犯罪率、就业等）设置下载数据集 解压文件，并将其重命名为yelp并将其放入此文件夹中。...
快速可用性测试案例之四：Yelp 提升 Web 体验.docx
11-25
本文主要探讨了Yelp网站在提升用户体验方面的一些问题和改进建议，通过快速可用性测试，发现了三个关键问题： 1. **查看照片后返回搜索结果不直观**：用户在浏览餐厅照片后，无法方便地返回搜索结果页面。当前的...
yenlp:Yelp 数据集挑战赛上的 NLP
06-12
对于结果，请在查看博客文章。 范围 这是约阿尼纳大学计算机科学与工程系本科生项目 2014/2015 秋季学期一个项目。 有关详细信息，请查看。 ＃＃＃目标 该项目的目标是将各种情绪分析技术 (NLP) 应用于餐厅评论，并...
yelp-dataset-project:Yelp 学术数据集项目
07-07
现在没有被使用，而是在 DSParser 项目中开发了一些特性来在 java 中做同样的事情。 4.) DSOutputAnalyser：-包含分析unigrams、bigrams结果的工具。 5.) SLURM_Scripts:- 包含运行 Mahout Naive Bayes 的 SLURM
Yelp_Challenge:Yelp数据集挑战
04-26
该项目使用Yelp数据集质询数据，其中包含来自美国各地Yelp用户的餐厅评论，在Yelp上注册的餐厅的业务信息。 在这个项目中，我选择了从2016年到2018年的评论来训练和测试我的模型。 总体而言，原始数据的大小约为1GB...
知乎基于 Kubernetes 的 Kafka 平台探索和实践
02-05
知乎基于 Kubernetes 的 Kafka 平台探索和实践，详细讲述基于业务驱动架构重构：单⼀集群造成系统单点；不区分集群和 Topic 等级，影响重要业务；业务与 Kafka 深度耦合
Kubernetes 部署 Kafka 集群
fangling86的专栏
06-06 1473
在 Kubernetes 上部署 KRaft 模式 Kafka 集群
在k8s中部署Kafka高可用集群超详细讲解
最新发布
博客虽小，世界尽在其中
06-06 4897
本文详细讲解了如何在Kubernetes（简称K8s）中部署一个高可用的Kafka集群。Kafka作为流处理平台的佼佼者，其在大数据和实时数据流处理中发挥着重要作用。然而，在高负载和复杂环境中，如何确保Kafka集群的稳定性和高可用性成为了一个重要问题。 文章首先介绍了Kafka集群的基本架构和核心概念，包括Broker、Topic、Partition等，为读者提供了必要的前置知识。接着，文章深入探讨了如何在K8s中构建Kafka集群的步骤和注意事项，包括选择合适的Kafka镜像、配置Kafka Broke
Kubernetes kafka系列 | k8s部署kafka+zookeepe集群（可外部通信）| kafka docekr镜像制作-v3.5.2
weixin_48711696的博客
03-13 1317
Kafka 通过 ZooKeeper 管理集群配置、选举 Leader，并在 Consumer Group 发生变化时进行 Rebalance（即消费者负载均衡）。Producer 使用 Push（推）模式将消息发布到 Broker，Consumer 使用 Pull（拉）模式从 Broker 订阅并消费消息。典型的 Kafka 体系架构包括若干 Producer（消息生产者），若干 Broker（作为 Kafka 节点的服务器），若干 Consumer （Group），以及一个 ZooKeeper 集群。
k8s部署kafka集群、helm部署kafka集群
MssGuo的博客
11-11 4458
k8s 安装kafka集群
kafka集群 kubernetes_【kafaka】在Kubernetes上使用helm部署kafka
weixin_29958569的博客
01-27 889
1、kafka整体架构Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop...
kubernetes容器化常用中间件之kafka
RainMan's love
06-08 1525
kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，[3]这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。 容器化步骤 构建kafka镜像 容器化的第一步首先是要构建ka
案例分享 | Yelp 如何在 Kubernetes 上运行 Kafka（第 1 部分 - 架构）
CNBPA的博客
07-28 201
我们最近通过在 PaaSTA （Yelp 自己的平台即服务）上运行集群，对 Kafka 部署架构进行一些改进。基于 K8s 的部署利用了 Kafka 的自定义 Kubernetes operator 以及用于生命周期管理的 Cruise Control 。
万字长文| 在 Kubernetes 上设计和测试高可用的 Kafka 集群
NewTyun的博客
05-18 1373
新钛云服已为您服务1491天在本文中，我们将了解 Kafka 的架构以及它如何通过复制分区支持高可用性。然后，我们也可以自己实现一个 Kafka 集群以使用标准 Kubernetes 资源实现高可用性，并了解它是如何做到高可用的，从而避免单点故障问题。在最简单的基础环境中，Kafka 的架构由单个 Broker 服务器及其作为客户端的生产者和消费者组成。·生产者创建记录...
评论 41
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叶秋学长

走过路过不要错过

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值