spark调优
Amos_Mu
这个作者很懒,什么都没留下…
展开
-
SparkStreaming消费kafka数据堆积问题(即生产者生产数据速率>>消费者消费数据速率)
Spark直连kafka解决方案:注意:spark直连kafka spark的分区数和kafka的分区数是一致的1.增加kafka的分区数,相当于增加了spark的分区数,分区数增加处理数据能力上升。但是分区数量不要少于服务器(exector服务器)的cpu核数,spark官方提示分区数要是cpu总核数的2~3倍Kafka增加分区的命令:./kafka-topic...原创 2019-04-28 14:46:28 · 2120 阅读 · 1 评论 -
Spark on yarn 的两种模式不同之处(spark on yarn的内存分配)
Spark on yarn 的两种模式不同之处:1.进程名字不同Cluster模式:CoarseGrainedExecutorBackend : 干活的程序员ApplicationMaster: 程序的主控进程 driver就运行在该进程中Client 模式:SparkSubmitCoarseGrainedExecutorBackend : 干活的程序员E...原创 2019-08-18 16:35:03 · 898 阅读 · 0 评论 -
Spark的统一内存管理
Spark的统一内存管理 图1:统一内存管理spark 1.6之后引入的统一内存管理机制。统一内存管理的结构是:---------------------------Stroage内存和Execution内存占可用内存的0.6----------------------...原创 2019-10-08 11:43:43 · 219 阅读 · 0 评论