本套系列博客从真实商业环境抽取案例进行总结和分享,并给出Spark商业应用实战指导,请持续关注本套博客。版权声明:本套Spark商业应用实战归作者(秦凯新)所有,禁止转载,欢迎学习。
- 秦凯新的技术社区-大数据商业实战系列全集目录
- Spark商业应用实战-Spark聚合开窗与自定义累加器的高级应用
- Spark商业应用实战-Spark自定义排序规则以及SQL高级应用
- Spark商业应用实战-SparkStreaming窗口滑动以及拉链实现转化率的高阶应用
1 Spark自定义排序规则
1.1 如何自定义排序规则:
1.2 如何自定义排序规则:
2 Spark SQL 操作Mysql
3 Spark SQL 使用高级技巧
3.1 Case when 和 row number 的高级用法
3.2 内置if的高级用法
3.3 make rdd 和 DF的转化
4 总结
本节内容主要探讨了Spark自定义排序规则以及SQL高级应用,可能部分截图来自github公开源码,部分是我的测试案例,如有雷同某位大神私有内容,请直接留言于我,我来重新修正案例。
秦凯新 于深圳