- 博客(4)
- 收藏
- 关注
RSS订阅转载 特征平台能够干什么
ML需要大量的数据，无论这些数据来自何处，管理它都可能很困难。MLOps可以帮助组织轻松地管理这个数据宝库，例如数据准备（清理、转换和格式化）和数据标记，还非常适合数据版本控制和跟踪，最后，MLOps通过提供工具和工作流程来帮助数据存储和安全性，从而实现数据的高效存储和检索。整体脉络：管理的来源、计算（转换和编码）、存储、周期性更新，而后基于，如何关联特征（批量、实时）拼凑为训练样本<x,y>。此外推理的时候 也能根据 uid/itemId 查询特征值。
2024-02-29 19:58:16
224
1
原创 Hadoop Hive小文件合并
hive.exec.reducers.bytes.per.reducer=500000000 --设定每个reduce的处理数据的大小。set mapred.reduce.tasks = 15 --数据比较稳定的情况下可以设定死的reduce task数量。set hive.merge.mapfiles = true --在 map only 的任务结束时合并小文件。---根据实际需要设置。set hive.merge.mapredfiles=true --在有reduce任务结束时合并小文件。
2023-08-21 21:21:01
894
原创 MapReduce数量调整
建议根据实际数量调整split大小，最大reduce数设置不超过3000;Reduce Split大小设置：<1亿/256M,1-10亿/512M,10-50亿/1024M，50-100亿/2048M,>100亿/3072M。建议根据实际数据量调整split大小，<1亿/256M,1-10亿/512M,10-50亿/1024M，50-100亿/2048M,>100亿/3072M。
2023-08-18 08:30:22
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人