spark streaming 消费kafka两种方式的对比
1、读取数据的并发度Receiver的方式:采用的是单核的模式,即使你设置了多个线程数,你的上下文环境中设置的并行度很大,也不会产生影响,还是1。只有通过配置多个receiver才会并行的读取kafka中的数据Direct的方式:读取数据的并行度和topic的分区数相同,而且生成的DStream的并行度也和topic的分区数相同,一一对应。2、生成的DSream的并行度Receiv...
原创
2019-10-23 11:42:26 ·
530 阅读 ·
0 评论