Apache Kafka应用程序中的机器学习和实时分析(第二部分)

本文深入探讨了如何在Apache Kafka应用程序中集成机器学习模型进行实时分析,包括直接嵌入模型到Kafka Streams或KSQL中,以及权衡模型服务器与嵌入模型的优缺点。通过实例展示了如何使用TensorFlow Java API在Kafka Streams中实现模型应用,并讨论了云原生环境中模型部署的策略,如使用Kubernetes进行边缘计算和模型部署的考量。
摘要由CSDN通过智能技术生成

在优锐课的java学习分享中,这篇文章探讨了构建ML基础结构的特定部分:在Kafka应用程序中部署分析模型以进行实时预测。

文章的第一部分在这啦,记得先看哦,不然看不懂哈,更有连贯性。

Apache Kafka应用程序中的机器学习和实时分析(第一部分)

嵌入式模型的流处理

除了使用模型服务器和RPC通信之外,你还可以将模型直接嵌入到Kafka应用程序中。 这可以是利用Kafka Streams或KSQL的Kafka本机流处理应用程序,也可以使用Java,Scala,Python或Go之类的Kafka客户端API。

在这种情况下,不依赖于外部模型服务器。 该模型已在应用程序中加载,例如使用Kafka Streams应用程序中的TensorFlow Java API:
同样,实现Kafka应用程序很简单。 以下是将TensorFlow模型嵌入到Kafka Streams应用程序中以进行实时预测的代码段:
1.导入Kafka和TensorFlow API:
Java

import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.KeyValue;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.integration.utils.EmbeddedKafkaCluster;
import org.apache.kafka.streams.integration.utils.IntegrationTestUtils;
import org.apache.kafka.streams.kstream.KStream;
import org.deeplearning4j.nn.modelimport.keras.KerasModelImport;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;

2.从数据存储区(例如,Amazon S3链接)或内存(例如,从Kafka主题接收)中加载TensorFlow模型:
Java

// Step 1: Load Keras TensorFlow Model using DeepLearning4J API
String simpleMlp = new ClassPathResource("generatedModels/K
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值