- 博客(3)
- 资源 (5)
- 问答 (3)
- 收藏
- 关注
原创 Spark中RDD的aggregate方法的理解
Spark学习过程中遇到RDD的aggregate(zeroValue :U)(seqOp:(U,Int)=> U),combOp :(U,U)=> U)方法,如果我们使用这个方法来计算RDD的平均值的话(这里我用的scala):val arr = Array(1,2,3,4,5,,6)val rdd = sc.parallelize(arr,1)val result = rdd.aggr
2018-01-06 11:24:06 897
spark SQL学习parquet文件和people.json文件
users.parquet people.json spark ,spark学习中的parquet文件和json文件
2018-01-03
Hadoop权威指南(中文版)
Hadoop权威指南第三版(中文版)本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。
2017-09-13
hadoop2.7.4里/current/VERSION文件找不到
2017-09-04
eclipse中启动tomcat报错
2017-07-28
eclipse中启动tomcat报错
2017-07-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人