Spark Streaming集成kafka和redis简单示例 - Java版

最新推荐文章于 2020-08-29 17:43:28 发布
最新推荐文章于 2020-08-29 17:43:28 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 大数据 spark 文章标签： spark streaming kafka redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiongbingcool/article/details/80857907
版权

出现以下错误都是pom中引入的两个依赖版本问题

java.lang.NoClassDefFoundError: org/apache/spark/Logging

java.lang.AbstractMethodError at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:99)

下面给出测试正常的pom及代码，因为环境使用的spark包版本为2.2.1，所以依赖添加对应版本，防止在服务器上运行时出问题。

pom.xml中添加依赖：

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.2.1</version>
最低0.47元/天 解锁文章
白开水v5
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark streaming 结合kafka 精确消费一次将结果保存到redis
xiaohu21的博客
12-06 1071
spark streaming 结合kafka 精确消费一次到redis 1. 环境 scala 2.12.12 jdk 1.8 idea 2020.1 maven 3.6.3 spark 3.0.1 kafka 0.10 hadoop 3.2.1 hbase 2.2.5 （另外一个明细数据幂等处理，保存到habse） redis 5.0 pom <!-- 定义了一些常量 --> <properties> <maven.compiler.source
demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis
weixin_34416754的博客
03-05 1048
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。我们的...
Kafka+Spark Streaming+Redis实时系统实践
张伟的专栏
03-01 1668
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。
spark streaming + redis(geo)
hhj724的专栏
09-21 956
项目支持实时，主要实时把数据存到redis中，并可以进行geo查询 环境（maven管理）： dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6version> dependency> dependency> groupI
Kafka+Spark Streaming+Redis实时计算整合实践
onlyForCloud的专栏
10-30 1352
x
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
07-07
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar
08-08
spark streaming 链接kafka必用包，欢迎大家下载与使用
spark-streaming-kafka-0-8_2.11-2.4.0.jar
01-22
spark-streaming-kafka-0-8_2.11-2.4.0.jar
spark-streaming-kafka-0-8-assembly_2.11-2.4.5.jar
04-20
spark streaming 链接kafka的必用包，国内下载很慢，特意分享出来，欢迎大家下载，速度很快哦
spark-streaming-kafka-0-8_2.11-2.4.4.jar
03-31
使用pyspark的stream操作kafka时，需要用到的jar包
redis && kafka搭建
02-03
redis && kafka搭建
SpringBoot集成Redis，Webservice，kafka，quartz，mybatis例子
08-22
最近学习springboot吧自己工作中需要用到的工具都做了集成例子。其中包括mybatis，cfx的webservice，定时器quartz，消息队列kafka以及redis其中redis包含了三种连接方式（单机模式，集群cluster，哨兵模式），给大家做一个参考 希望能让别人学习时少走弯路
sparkStreaming+kafka+redis小项目实战
hyj
02-26 1065
一、项目说明 1、需求 实时更新每个用户走的总步数； 每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数； 这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中； 2、大数据组件 kafka:kafka_2.10-0.10.2.1 spark:spark-2.2.0-bin-hadoop2.7 redis:redis-3.0.0 3、...
SparkStreaming聚合类操作写入Redis数据库
weixin_43648241的博客
08-29 725
相较于写入MySQL中，
Kafka+Spark Streaming+Redis Spark streaming实时读取kafka中数据完成wordcount并写入redis中
qq_42520986的博客
07-23 717
集群或虚拟机提前安装好spark、kafka和redis windows环境安装好scala 用idea创建maven工程 spark版本2.2.0 pom文件内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...
使用sparkStreaming与Kafka直连方式WordCount,使用redis存放中间结果
Lu_Xiao_Yue的博客
11-11 1242
1、maven的pom.xml文件，添加jedis依赖 &amp;lt;!-- redis--&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;redis.clients&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;jedis&
idea整合redis、kafka、es
weixin_46981685的博客
05-27 322
idea整合redis、kafka、es package com.example.demokafkaredises; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public class DemoKafkaRedisEsApplication { pub
Storm集成Kafka和Redis
Simon的博客
04-17 1085
Storm集成Kafka和Redis 一、 新建Strom项目   二、 引入pom依赖 &lt;properties&gt; &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&gt; &lt;spring.version&gt;2.5.6&lt;/spring.version&g...
sparkstreaming集成kafka
最新发布
05-12
下面是一个简单的 Spark Streaming 和 Kafka 集成的示例： 首先，我们需要在 Spark Streaming 应用中添加 Kafka 相关依赖： ``` libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" %...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值