Python3实战Spark大数据分析及调度 学习 资源

Python3实战Spark大数据分析及调度 学习资源

一、实例分析
1.1 数据 student.txt

1.2 代码

二、代码解析
2.1函数解析
2.1.1 collect()
RDD的特性
在进行基本RDD“转换”运算时不会立即执行，结果不会显示在显示屏中，collect（）是一个“动作”运算，会立刻执行，显示结果。

2.1.2 reduce()
说明
reduce()函数会对参数序列中的元素进行累积。

语法
reduce(function, iterable[, initializer])

参数
function – 函数，有两个参数
iterable – 可迭代对象