![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
rochy_he
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 之 Kafka 偏移量管理
本文主要介绍 Spark Streaming 应用开发中消费 Kafka 消息的相关内容,文章着重突出了开发环境的配置以及手动管理 Kafka 偏移量的实现。 一、开发环境 1、组件版本 CDH 集群版本:6.0.1 Spark 版本:2.2.0 Kafka 版本:1.0.1 2、Maven 依赖 <!-- scala --> <dependency> <gr...原创 2019-01-07 13:30:15 · 2555 阅读 · 2 评论 -
使用 ES-Hadoop 将 Spark Streaming 流数据写入 ES
本文将详细介绍利用 ES-Hadoop 将 Spark 处理的数据写入到 ES 中。 一、开发环境 1、组件版本 CDH 集群版本:6.0.1 Spark 版本:2.2.0 Kafka 版本:1.0.1 ES 版本:6.5.1 2、Maven 依赖 <!-- scala --> <dependency> <groupId>org.scala-lang&l原创 2019-01-07 13:31:06 · 2707 阅读 · 1 评论