![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
頔潇
哈尔滨工业大学计算学部本科生
展开
-
联邦机器学习 Federated Machine Learning
联邦机器学习又名联邦学习,联合学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。原创 2020-06-02 23:09:17 · 2392 阅读 · 0 评论 -
基于Python+Spark分布式数据操作:求精确中位数并验证
生成1万个随机数,存储在HDFS文件系统中的data1.txt中,每个数字之间用“,”分隔。从HDFS上读入data1.txt,生成RDD,找到这个数据集合的**中位数**(精确的),只能使用RDD有关API,并且不能调用Spark提供的中位数计算的API,在Spark平台上实现中位数算法后,验证结果的正确性。原创 2020-05-12 17:06:56 · 971 阅读 · 0 评论 -
Spark大数据开发技术简介
Spark大数据开发技术简介:历史沿革、Spark的优点、对比、Apache Spark堆栈中的不同组件、基本原理、架构组成、部署和体系结构、Spark运行模式、页面原创 2020-04-25 13:09:06 · 1127 阅读 · 0 评论