- 博客(4)
- 收藏
- 关注
转载 特征平台能够干什么
ML需要大量的数据,无论这些数据来自何处,管理它都可能很困难。MLOps可以帮助组织轻松地管理这个数据宝库,例如数据准备(清理、转换和格式化)和数据标记,还非常适合数据版本控制和跟踪,最后,MLOps通过提供工具和工作流程来帮助数据存储和安全性,从而实现数据的高效存储和检索。整体脉络:管理的来源、计算(转换和编码)、存储、周期性更新,而后基于,如何关联特征(批量、实时)拼凑为训练样本<x,y>。此外推理的时候 也能根据 uid/itemId 查询特征值。
2024-02-29 19:58:16
224
1
原创 Hadoop Hive小文件合并
hive.exec.reducers.bytes.per.reducer=500000000 --设定每个reduce的处理数据的大小。set mapred.reduce.tasks = 15 --数据比较稳定的情况下可以设定死的reduce task数量。set hive.merge.mapfiles = true --在 map only 的任务结束时合并小文件。---根据实际需要设置。set hive.merge.mapredfiles=true --在有reduce任务结束时合并小文件。
2023-08-21 21:21:01
894
原创 MapReduce数量调整
建议根据实际数量调整split大小,最大reduce数设置不超过3000;Reduce Split大小设置:<1亿/256M,1-10亿/512M,10-50亿/1024M,50-100亿/2048M,>100亿/3072M。建议根据实际数据量调整split大小,<1亿/256M,1-10亿/512M,10-50亿/1024M,50-100亿/2048M,>100亿/3072M。
2023-08-18 08:30:22
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人