spark
孩子加油孩子
我不怕千万人阻挡,只怕自己投降
展开
-
spark 连接kafka API 讲解
转自: http://blog.leanote.com/post/kobeliuziyang/Spark2.x%E8%BF%9E%E6%8E%A5Kafka spark 连接kafka API 各参数详细讲解 一 Spark连接Kafka的两种方式比较 二 0.8,0.10以及更高版本的Kafka 如果spark的批次时间batchTime超过了kafka的心跳时间(30s),需要...转载 2018-11-26 16:58:40 · 2429 阅读 · 0 评论 -
spark broadcoast 广播变量
https://blog.csdn.net/weixin_41804049/article/details/79903472 个人理解: spark driver 会将普通变量发送到每个task中,如果该变量特别大,会导致内存溢出,所以,使用广播变量,driver将变量广播到每个executor中,每个task向executor去取需要的变量,即可避免内存溢出。(这个理解并不全面,广播变量 在多...转载 2018-11-26 17:05:25 · 385 阅读 · 0 评论