kafka
文章平均质量分 57
天街小雨入江南
简单的,诚实的享受平凡。让数据回归本质
展开
-
Spark通过receiver方式消费kafka数据时数据积压问题
Receiver方式消费kafka数据积压问题1.问题在通过receiver方式接受kafka消息时,发现有大量消息在队列中阻塞最终导致spark任务执行失败。 经过排查发现,利用receiver方式来消费kafka的数据时可能会因为zk的group是首次创建或者有一段时间未消费,在程序启动的时候一次性读取进来大量的数据导致数据积压严重报错oom或者yarn资源不够而崩溃,可...原创 2018-05-10 15:24:46 · 2463 阅读 · 0 评论 -
SparkStreaming读取kafka两种方式对比
SparkStreaming读取kafka两种方式对比Direct方式连接kafka数据不同于receiver方式,direct方式与kafka的partition一一对应,有多少个partition就有多少个rdd分区,offset以长整形变量的形式存在,不同应用各自维护自己的offset,默认是从最新数据开始读取。一,receiver方式读取这种方式使用Receiver来获取数...原创 2018-08-27 11:08:37 · 1165 阅读 · 0 评论