大数据：RDD算子，filter，distinct，union，join，intersection，glom，groupByKey，sortBy，sortByKey

大数据：RDD算子

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

---

大数据：RDD算子

反正用函数判断，返回true的
都会被保留
否则gg

x%2==0偶数
==1奇数

去重，骚啊

顺序不管，多分区独立，汇总，肯定没有顺序
不管

前拼后

不会去重
而且数据类型不同也可以合并

左外基本就够了

内连接这是

左边全部保留

glom就是嵌套

针对kv型，直接按照key分组



lambda就直接返回结果了
操作谁，你写清楚即可

混乱的结果
按照key还是value排序
排序

函数，告知spark，按照哪个列排序
lambda，取value，还是key排序

排序的分区
生产环境中，各自排序
分区间是无序的吧？？

---

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。