K8s-K8s部署Zookeeper+Kafka+ELFK+持久化数据

已于 2023-02-21 13:59:19 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： 运维企业实战笔录 # K8s 运维 文章标签： kafka zookeeper 分布式
于 2022-02-21 15:00:35 首次发布
本文为博主【秋风お亦冷】原创文章，转载请注明出处，否则保留追究法律责任的权利！
本文链接：https://blog.csdn.net/qq_23995091/article/details/123047391
版权
运维企业实战笔录 同时被 3 个专栏收录
72 篇文章 44 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
运维
195 篇文章 3 订阅
订阅专栏
K8s
15 篇文章 5 订阅
订阅专栏
了解本专栏 订阅专栏 解锁全文 超级会员免费看
秋风お亦冷
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
前言 由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程. 前提 docker docker-compose apache kafka服务 架构 数据采集流程 数据的产生使用cadvisor采集容器的监控数据并将数据传输到Kafka. 数据的传输链路是这样: Cadvisor->Kafka->Fluentd->elasticsearch 每一个服务都可以横向扩展,添加服务到日志系统中. 配置文件 dock
k8s部署elk+filebeat+logstash+kafka集群（一）ES集群+kibana部署
filtercomp的博客
09-29 2632
这次是在部署后很久才想起来整理了下文档，如有遗漏见谅，期间也遇到过很多坑有些目前还没头绪希望有大佬让我学习下
《Kubernetes部署篇：Elasticsearch+Fluentd+Kafka搭建日志系统（方案一）》
东城绝神
02-22 1157
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
【云原生 | Kubernetes 系列】—K8S部署kafka集群
云录
01-05 2402
这里要求能在外部访问到Kafka集群，需要配置三个外网地址，或者一个外网地址+三个端口，依次代理对应后端三个Kafka的Pod容器实例；地址: http://节点ip:30048/ke/account/signin?/ke/ 默认账号密码: admin/123456。1:准备存储,这里我用ceph,需要自己准备存储 2:下载包:kafka_2.12-2.8.2.tgz。1: kafka kafka_2.12-2.8.2版本的Dockerfile镜像制作。3:创建kafka集群 kafka1.yaml。
ELK配置记录（filebeat+kafka+Logstash+Elasticsearch+Kibana）
xz060585的博客
06-02 306
本文记录了配置elk的过程
部署zookeeper+kafka
最新发布
04-25
一、二进制安装 1.安装jdk，二进制安装以及yum安装 ...3.部署kafka 二、docker安装 1.搭建zookeeper集群 2.搭建kafka集群 3.测试Zookeeper中Kafka节点信息 4.测试Kafka中创建Topic，Zookeeper中的接受情况
spring+zookeeper+kafka
09-22
spring整合zookeeper+kafka，完整的开发环境，先自行下载zookeeper、kafka安装包
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
kafka2.4.0+zookeeper+kafka-connect集成环境包
03-18
kafka2.4.0+zookeeper+kafka-connect集成安装包
大数据处理利器：Spark+ZooKeeper+Kafka Scala源码示例
03-25
项目核心采用Spark进行批处理与流处理，整合了ZooKeeper和Kafka以增强分布式计算和数据流管理能力。文件类型多样，包括175个class文件，109个crc校验文件，82个Parquet数据文件，以及67个Scala源码文件等。 项目...
生产实践：基于K8S的私有化部署解决方案
dweizhao的专栏
12-05 286
随着国内数字化转型的加速和国产化进程推动，软件系统的私有化部署已经成为非常热门的话题，因为私有化部署赋予了企业更大的灵活和控制权，使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。
K8S 1.23.1部署 及 ElasticSearch/Kafka/MySQL部署
kamisamak的博客
01-27 4510
k8s&Docker安装 # 将 SELinux 设置为 permissive 模式（相当于将其禁用） sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config #关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 关闭swap swapoff -a sed -i 's/.*swap.*/#&/
k8s部署集群版redis3.2
nuptaxin的专栏
03-12 2317
创建持久卷 创建6个持久卷定义vim mysql-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: redis32-pv1 spec: capacity: storage: 200M accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain hostPath: path: "/Users/renzhengxin/Id
k8s部署elk+filebeat+logstash+kafka集群（二）kafka-zookeeper模式集群
filtercomp的博客
09-30 622
k8s中kafkazookeeper集群模式部署
k8s部署kafka+zookeeper
本作者：想花
01-21 1383
决定在一个pod中部署这两个容器先拉取images。
【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台（上）
Stars.Sky 的博客
01-18 2702
EFK 组件详细介绍！！！
k8s之部署kafka集群+高可用配置
Vic的博客
08-17 1598
本文安装思路参考自： Kubernetes全栈架构师：基于世界500强的k8s实战课程 文章目录 1. 安装helm 1.1. 安装helm 1.2. Helm基本命令 2. 部署zookeeper与kafka 2.1. 下载chart包 2.2. 部署zookeeper 2.2.1. 编辑values 2.2.2. 安装 2.3. 安装kafka 2.3.1. 编辑values 2.3.2. 基
使用ELFK收集分析k8sdemo日志
qq_37256882的博客
12-31 302
这里使用ELFK收集之前部署的k8sdemo，作为测试，就收集一个日志即可。这里选择了cosmall日志，这个程序实质上是一个nginx程序，作为反向代理使用。
k8s部署elk+filebeat；springCloud集成elk+filebeat+kafka+zipkin实现多个服务日志链路追踪聚合到es
本作者：想花
01-23 2254
如今2023了，大多数javaweb架构都是springboot微服务，一个前端功能请求后台可能是多个不同的服务共同协做完成的。例如用户下单功能，js转发到后台，然后到，然后到，然后到，后续还有发货、客户标签等等服务。其中每个服务会启动多个实例做负载均衡，这样一来我们想看这个功能的完成流程日志，需要找到对应的服务器ip,日志文件在哪，其中又要确定具体负载转发到哪些台服务器上了。
在k8s上部署 zookeeper + kafka 集群 配置教程
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace： ``` kubectl create namespace zookeeper-kafka ``` 2. 部署Zookeeper 接下来，我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务： ``` apiVersion: v1 kind: Service metadata: name: zookeeper spec: selector: app: zookeeper ports: - name: client port: 2181 protocol: TCP - name: follower port: 2888 protocol: TCP - name: leader port: 3888 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zookeeper image: zookeeper:3.5.8 ports: - name: client containerPort: 2181 - name: follower containerPort: 2888 - name: leader containerPort: 3888 volumeMounts: - name: datadir mountPath: /data env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name - name: ZOO_SERVERS value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888 volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Zookeeper StatefulSet，并创建一个名为“zookeeper”的Service，暴露Zookeeper的客户端端口2181，follower端口2888和leader端口3888。 3. 部署Kafka 现在，我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例： ``` apiVersion: v1 kind: Service metadata: name: kafka spec: type: NodePort selector: app: kafka ports: - name: kafka port: 9092 nodePort: 30092 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: wurstmeister/kafka:2.13-2.7.0 ports: - name: kafka containerPort: 9092 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181 - name: KAFKA_ADVERTISED_LISTENERS value: PLAINTEXT://$(hostname -f):9092 - name: KAFKA_LISTENERS value: PLAINTEXT://0.0.0.0:9092 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: "3" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service，它将Kafka的9092端口暴露为NodePort 30092。 4. 验证部署 现在，您可以使用以下命令检查Zookeeper和Kafka是否正在运行： ``` kubectl get pods -n zookeeper-kafka ``` 您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。 接下来，您可以使用以下命令检查Kafka是否正在监听端口30092（或您自己选择的端口）： ``` kubectl get services -n zookeeper-kafka ``` 您应该看到一个名为“kafka”的service，它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。 至此，您已经成功地在k8s上部署了zookeeper + kafka集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋风お亦冷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值