【Spark实战系列】sparkstreaming 实时写数据到 elasticsearch

最新推荐文章于 2024-08-16 09:21:03 发布

JasonLee实时计算

最新推荐文章于 2024-08-16 09:21:03 发布

阅读量5.9k

点赞数

分类专栏： Spark 实战系列 elasticsearch 文章标签： elasticsearch spark es sparkstreaming 读写

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/82216845

版权

Spark 实战系列同时被 2 个专栏收录

41 篇文章 289 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

elasticsearch

3 篇文章 0 订阅

订阅专栏

本文介绍如何使用SparkStreaming将实时数据写入Elasticsearch。通过一个简单的Demo展示具体实现过程，适用于项目中需要实时数据存储的需求。如需了解更多相关知识，可以加入指定的QQ群或参考专业星球资源。

摘要由CSDN通过智能技术生成

需求

在实际的项目开发中,有时需要把数据实时的写入到 elasticsearch 中,那用 sparkstreaming 怎么实现这个需求呢?下面给出一个简单的示例:

简单的实现了一个 sparkstreaming 写入 es 的 demo,废话不多说,直接来看代码.

package spark

import kafka.{PropertiesScalaUtils, RedisKeysListUtils}
import kafka.streamingRedisHive.{dbIndex, kafkaStreams}
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, HasOffsetRanges, KafkaUtils, LocationStrategies}
import org.elasticsearch.spark.rdd.EsSpark
import redis.RedisPool

/**
  * 历史价格曲线的数据写入到es;
  */
object writeToES {
  def main(args: Array[String]):