![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
wuyangcc
天气晚来秋,能饮一杯否
展开
-
SparkStreaming编程
0. SparkStreaming流式计算简介SparkStreaming实时处理入门案例SparkStreaming和HDFS整合SparkStreaming与Kafka整合SparkStreaming常见transformation算子SparkStreaming高可用及其优化建议1. 流式计算简介1.1. 流式计算 如何去理解流式计算,最形象的例子,就是小明的往水池中...原创 2020-04-17 14:20:21 · 489 阅读 · 0 评论 -
spark性能调优总结
0.性能调优大纲调优简介开发调优资源调优数据倾斜调优shuffle调优jvm调优1. 调优简介 为啥要做调优,上图已经告诉我们答案了~2. 开发调优 开发出高质量的代码,从如下几个角度去说明,当然避免使用一些性能比较低的算子,使用一些占用空间比较小的数据结构,使用一些占用体积比较小的序列化的方式等等。2.1. 避免创建重复的RDD...原创 2020-04-17 14:02:46 · 390 阅读 · 0 评论 -
SparkCore-RDD编程
SparkCore-RDD编程操作0. 大纲Spark程序的执行过程RDD的操作RDD的转换操作共享变量高级排序1. Spark程序执行过程1.1. WordCount案例程序的执行过程1.2. Spark程序执行流程2. RDD的操作 At a high level, every Spark application consists of a dri...原创 2020-04-17 13:55:18 · 254 阅读 · 0 评论