基于分布式平台的机器学习模型训练以及上线部署方案总结(1)

1.调度平台：
谷歌的kubeflow
Databricks的Mlflow
Airflow
2.bdp可以定时也可以接口调用
3.多个模型并行训练可以采用接口传参获取特定数据训练特定模型，然后允许任务并行即可等价于k8s或者容器内搭建调度平台然后通过节点调用bdp接囗，因为bdp本身就是调度平台
4.训练与预测最大区别：训练存储模型文件不一定给预测结果，如果有预测结果是离线存在hive表预测是使用已知模型文件返回预测结果，可以存储hive表单更多是实时返回预测结果
5.预测分为离线数据预测和实时数据预测：离线数据预测可以离线预测结果提前存hive表离线数据预测可以提前转成hbase实现实时返回预测结果实时数据即为用真实的实时数据流进行预测

重点要实现实时数据和实时计算

# -*- coding：utf-8 -*-
from kafka import   KafkaProducer, KafkaConsumer
from   kafka. errors  import  kafka_errors
import  traceback
import  json 
import time

def  consumer_demo1() 
    consumer • = KafkaConsumer 


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/a05ddeca04cbedf27ac15eccb957f95e.png)
![img](https://img-blog.csdnimg.cn/img_convert/b2f65b62b44d87997b70f5b37e3249c8.png)
![img](https://img-blog.csdnimg.cn/img_convert/a0071b9c8fe105e0006d106b89c444d5.png)
![img](https://img-blog.csdnimg.cn/img_convert/74403ae76381918d885b425e59db14c4.png)
![img](https://img-blog.csdnimg.cn/img_convert/781abde3bac5e605a8a65b6f19d1b588.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/da0738b85a1280f1ae261859c0acc926.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**