大数据：RDD action算子：foreach，saveAsText，mapPartitions，foreachPartition，partitionBy，repartition，

大数据：RDD action算子

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

---

大数据：RDD action算子

不要用赋值符号


之前都需要collect来收集
foreach是直接内部打印了

saveAsText


它直接写进去了
几个分区各自写

不是collect那种，不管driver
直接写，性能好
这是spark性能好的优点之一

其他的就必须经过driver哦

结果一样
但是mapPartitions过程是不同的
一次性传输

迭代器对象

每个元素都干一下，那就是for来迭代处理
返回整个结果
append收集结果

网络io是一次迭代，速度就快了，这也是spark牛逼的地方之一
空间复杂度大大降低了

懂了吗
这spark好牛的

foreachPartition也是类似的哦
foreachPartition没有返回值，直接打印即可

直接调用即可

partitionBy
返回int
分区号
默认是hash分区
自定义的话，你随意

分为几个区

proces是返回分区号，反正别超过你自动分区的最大区数量

任性的分区

最好别更改这种分区
严重影响内存和shuffle有状态运算的速度

不建议用这个函数哦！！！！！！！！！！

coalesce
也能修改分区

面试中问你groupByKey和reduceByKey的区别

区别很大

一个分组，一个聚合哦
groupByKey性能弱，而redeceByKey性能是非常强大的

先shuffle
速度慢

而reduceByKey，自带聚合逻辑，先内部聚合，再分区间聚合

这就是面试中的好题目
分清楚区别

首选reduceByKey
功能和性能区别都很大哦

反正想办法让网络传输的io开销降低即可

RDD总结

foreach和saveAsTextFile

---

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。