隐私计算
关注
分享
扫一扫
文章平均质量分 71
隐私计算相关技术整理
慕姊伯
这个作者很懒，什么都没留下…
展开
-
Fate1.5.0：纵向联邦模型训练+模型预测
Fate1.5.0：纵向联邦模型训练+模型预测原创 2022-08-11 20:11:04 · 822 阅读 · 1 评论 -
Fate1.5.0：Docker-compose部署
Fata1.5.0快速部署原创 2022-07-08 16:45:03 · 471 阅读 · 0 评论 -
Fate On Spark 大文件上传异常
目录背景原始代码内存信息总结解决方案背景Fate On Spark在测试大文件上传的时候，遇到当文件大小超过fate所在机器内存大小的时候，上传任务最终状态为canceled，经过多次测试发现整个文件其实是已经完整上传到HDFS上，但是Fate在文件上传完毕之后会调用count()函数，当fate底层storage为hdfs时：count()执行逻辑其实就是将刚刚上传到hdfs的数据重新read一遍，读一行就做一下计数。问题就在于fate读取hdfs上数据使用的方法上面：python的第三方库pyarr原创 2021-12-30 20:57:54 · 1812 阅读 · 0 评论