spark
小~蜉蝣
这个作者很懒,什么都没留下…
展开
-
spark streaming背压机制
spark streaming背压机制 背压机制产生的背景 背压(back pressure)机制主要用于解决流处理系统中,业务流量在短时间内剧增,造成巨大的流量毛刺,数据流入速度远高于数据处理速度,对流处理系统构成巨大的负载压力的问题。 如果不能处理流量毛刺或者持续的数据过高速率输入,可能导致Executor端出现OOM的情况或者任务崩溃。 旧版背压机制(spark1.5之前) 旧版架构图 r...原创 2020-01-10 13:27:09 · 2057 阅读 · 1 评论 -
spark操作hive初实验
spark操作hive初实验 IDEA基于mave搭建spark操作hive环境 pom.xml配置如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc...原创 2019-10-29 10:48:24 · 298 阅读 · 0 评论 -
spark中aggregateByKey算子详解
参数:(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U) 作用:在kv对的RDD中,,按key将value进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算,返回的结果作为一个新的kv对,然后再将结果按照key进行合并,最后将每个分组的value...原创 2019-10-16 16:19:23 · 461 阅读 · 0 评论