Knative 实战：基于 Kafka 实现消息推送

最新推荐文章于 2024-06-21 09:33:12 发布
最新推荐文章于 2024-06-21 09:33:12 发布
阅读量307 收藏
点赞数
原文链接：https://yq.aliyun.com/articles/722572?utm_content=g_1000084429
版权

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aSyJ7RIt-1572505304972)(https://yqfile.alicdn.com/01ee67ae04a648166d18ad84af8538056340b4f8.png)]

作者 | 元毅 阿里云智能事业群高级开发工程师

**导读：**当前在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何基于 Kafka 实现消息推送呢？本文作者将以阿里云 Kafka 产品为例，给大家解锁这一新的姿势。

背景

消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

结合 Knative  中提供了 KafkaSource 事件源的支持， 可以方便的对接 Kafka 消息服务。

另外也可以安装社区 Kafka 2.0.0 及以上版本使用。

在阿里云上创建 Kafka 实例

创建 Kafka 实例

登录消息队列 Kafka 控制台, 选择【购买实例】。由于当前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本，在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买，购买之后升级到 2.0.0 即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xgsZy6iA-1572505304973)(https://yqfile.alicdn.com/2fd78cb14c9a306c65db58aa02fd33c316cebb1e.png)]

部署实例并绑定 VPC

购买完成之后，进行部署，部署时设置 Knative 集群所在的 VPC 即可：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WcDAjdgX-1572505304973)(https://yqfile.alicdn.com/4f7d210e3f0f1a7f362fa21e0acbd7a16357e8c6.png)]

创建 Topic 和 Consumer Group

接下来我们创建 Topic 和消费组。
进入【Topic 管理】，点击 创建 Topic, 这里我们创建名称为 demo 的 topic:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7mGhOu7B-1572505304973)(https://yqfile.alicdn.com/2216c543a10ab4d392f05e08f2ef5db323746fea.png)]

进入【Consumer Group 管理】,点击 创建 Consumer Group, 这里我们创建名称为 demo-consumer 的消费组:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-okSm4R1U-1572505304973)(https://yqfile.alicdn.com/c618fe563a0633ff292baed46e8d087e879dcb8a.png)]

部署 Kafka 数据源

部署 Kafka addon 组件

登录容器服务控制台，进入【Knative 组件管理】，部署 Kafka addon 组件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2riJmTGq-1572505304973)(https://yqfile.alicdn.com/7148ab0f6fa996ebe37e5c5505de8ac65aa0c2dc.png)]

创建 KafkaSource 实例

首先创建用于接收事件的服务 event-display:

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
spec:
  template:
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yYgQ30YP-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2fPYNlMp-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

接下来创建 KafkaSource：

apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: alikafka-source
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092
  topics: demo
  sink:
    apiVersion: serving.knative.dev/v1alpha1
    kind: Service
    name: event-display

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c8r9PIZU-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KpB9HsFr-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

说明：

  • bootstrapServers: Kafka VPC 访问地址
  • consumerGroup： 设置消费组
  • topics：设置 Topic

创建完成之后，我们可以查看对应的实例已经运行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
NAME                                    READY   STATUS    RESTARTS   AGE
alikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQM3Hqec-1572505304975)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cYR0WMfv-1572505304975)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

验证

在 Kafka 控制台，选择 topic 发送消息，注意这里的消息格式必须是 json 格式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7yx9Xbqk-1572505304976)(https://yqfile.alicdn.com/03d2d726e21690b683cb5b047ed1cefc57544cb1.png)]

我们可以看到已经接收到了发送过来的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container

️  CloudEvent: valid 
Context Attributes,
  SpecVersion: 0.2
  Type: dev.knative.kafka.event
  Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo
  ID: partition:7/offset:1
  Time: 2019-10-18T08:50:32.492Z
  ContentType: application/json
  Extensions: 
    key: demo
Transport Context,
  URI: /
  Host: event-display.default.svc.cluster.local
  Method: POST
Data,
  {
    "key": "test"
  }

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c2MYPNQC-1572505304976)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cWYsY2Op-1572505304976)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

小结

结合阿里云 Kafka 产品，通过事件驱动触发服务（函数）执行，是不是简单又高效。这样我们利用 Knative 得以把云原生的能力充分释放出来，带给我们更多的想象空间。欢迎对 Knative 感兴趣的一起交流。

iPhone 11 Pro、卫衣、T恤等你来抽，马上来试试手气 https://www.aliyun.com/1111/2019/m-lottery?utm_content=g_1000083877

原文链接

本文为云栖社区原创内容，未经允许不得转载。

Ta oo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka控制台模拟消费_Knative 实战：基于 Kafka 实现消息推送
weixin_39706127的博客
01-02 139
作者 | 元毅 阿里云智能事业群高级开发工程师导读：当前在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何基于 Kafka 实现消息推送呢？本文作者将以阿里云 Kafka 产品为例，给大家解锁这一新的姿势。背景消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合...
骑士卡：基于Kafka搭建消息中心，上亿消息推送轻松完成
阿里巴巴中间件
02-10 520
全球购骑士卡是国内领先的会员制特权电商平台，汇聚国内外“吃喝玩乐买”超 300 项会员专属优惠特权。全球购骑士卡基于移动互联生活方式，打通线上、线下消费场景，汇集时下热门、高频的商品及服务...
**Kubernetes与Apache Kafka的完美结合 - 探索Knative Eventing Kafka的魅力**
gitblog_00035的博客
06-21 890
Kubernetes与Apache Kafka的完美结合 - 探索Knative Eventing Kafka的魅力 项目地址:https://gitcode.com/knative_extensions/eventing-kafka-broker 一、项目介绍 在云原生领域中，Knative作为Google开源的一款基于Kubernetes的开发平台，旨在简化无服务器架构下的应用部署和管理流程。...
java Kafka生产者推送数据与消费者接收数据（参数配置以及案例）_java实现kafka消息发送和接收
2401_84164721的博客
04-08 928
以上大数据开发知识点，真正体系化！**
kmq：基于Kafka的消息队列
02-05
Kafka消息队列 使用kmq您可以在Kafka中确认对单个消息的处理，并且可以在超时后重新发送未确认的消息。 这与通常的Kafka偏移量提交机制相反，在该机制下，您只能确认直到给定偏移量的所有消息。 如果您熟悉 ，则...
爱马仕：基于Kafka的快速可靠的消息代理
02-23
我们为消息发布提供可靠的容错REST接口，并为消息发送提供自适应推送机制。 请参阅我们的Vagrant 10分钟入门指南：请访问我们的页面： 请参阅我们的完整文档： : 问题？ 我们。执照hermes是根据。
zipkin-storage-kafka:基于Kafka的Zipkin存储
05-08
基于Kafka的Zipkin存储。 +----------------------------*zipkin*---------------------------------------------- | [ dependency-storage ]--->( dependencies ) | ^ +-->( autocomplete-tags ) ( ...
.NET CORE 代码使用kafka推送数据
05-19
.NET CORE 代码使用 Kafka 推送数据涉及到一系列关键知识点，主要涵盖 .NET Core 开发环境、Kafka 概念、Confluent.Kafka .NET 客户端库以及消息生产和消费的实现。以下是对这些主题的详细解释： 1. **.NET Core**...
eventing-kafka:Kafka与Knative Eventing的集成
03-04
Kafka Eventing组件 该存储库包含使用Kafka作为支持实现的事件组件。 当前，它由一个实现和一个带有两个后备Channel实现（和）的单个KafkaChannel CRD组成。 这项工作由赞助。 每晚文物 # Install the Kafka Source kubectl apply -f https://storage.googleapis.com/knative-nightly/eventing-kafka/latest/source.yaml # Install the Kafka "Consolidated" Channel kubectl apply -f https://storage.googleapis.com/knative-nightly/eventing-kafka/latest/channel-consolidated.yaml # Install
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
大数据技术基础实验十三：Kafka实验——订阅推送示例
北天的博客
11-11 2095
大数据技术基础实验十三，利用Kafka实现简单的订阅推送示例。
利用Kafka的Assign模式实现超大群组（10万+）消息推送
xmcy001122的专栏
09-23 2376
本文通过图文并茂的方式，介绍使用kafka 手动消费分区的方式实现广播的效果，解决了百万级别长连接网关的消息路由问题，提升了整体系统性能和可用性
Knative 实战：基于阿里云 Kafka 实现消息推送
阿里云云栖号
10-21 1378
在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何在阿里云上基于 Kafka 实现消息推送，本文给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。...
消息推送平台的实时数仓？！flink消费kafka消息入到hive
xxxzzzqqq_的博客
05-11 301
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。
Springboot最简单的实战介绍 整合kafka-生产者与消费者（消息推送与订阅获取）
m0_57473261的博客
03-20 936
logger.info(topic + " 生产者 发送消息成功：" + result.toString());可以看到，我们的kafka生产者再推送消息成功后，成功进入了我们的回调函数onSuccess，也打印了日志。//kakfa的推送消息方法有多种，可以采取带有任务key的，也可以采取不带有的（不带时默认为null）用postman测一下（对了，这些推送的前提是你的kafka服务器是没问题的，能正常连接）以上就是kafka生产者了，到此刻，你已经可以开始往kafka服务器推送消息了。
Knative接收Kafka消息，通过KafkaSource和基于Java实现
Crazy_xym的博客
08-27 756
Knative接收Kafka消息 knative可以通过POST接收cloudevents格式的HTTP请求，同时knative提供kafkaSource，kafkaChannel，kafkaBinding的方式接收普通kafka消息并转换成cloudevents发到knative service。这里提供基于Java的实现以及kafkaSource的实现。 Java 项目搭建 首先下载cloudevents-java SDK ，然后利用maven将这4个包进行打包，然后手动引入项目 接下来pom这么写，
Kafka消息队列实现消息的发送和接收
热门推荐
江晓龙的博客
06-27 1万+
消息生产者Producer产生消息数据，发送到Kafka消息队列中，一台Kafka节点只有一个Broker，消息会存储在Kafka的Topic（主题中），不同类型的消息数据会存储在不同的Topic中，可以利用Topic实现消息的分类，消息消费者Consumer会订阅消息存储的Topic，从Topic中读取/接收消息数据，不同的消费者可以订阅不同的Topic。命令可以模拟消费者Consumer接收消息数据，将接收到的消息数据打印在终端，默认情况下消费的是Topic中最新的消息数据。
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
"超级账本：基于Kafka的Fabric网络部署实战
每个节点都会负责处理一部分消息的存储和传输工作，这样就可以实现消息的高速传输和实时处理。在Fabric网络中，Kafka集群可以被用来确保交易的有序性，并且可以确保每个通道中的交易都能够被正确地分发和存储。 5.3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值