[Spark streaming举例]-- yarn-cluster运行spark streaming问题

往事随风ing

已于 2023-03-09 13:00:22 修改

阅读量9.6k

点赞数

分类专栏： Spark 文章标签： spark

于 2016-07-17 09:51:35 首次发布

本文链接：https://blog.csdn.net/high2011/article/details/51930853

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文主要介绍了在本地运行Spark时遇到的jar版本冲突和缺少jar包问题，以及在集群环境中运行Spark Streaming与Kafka结合的作业时，如何解决maven依赖、json-lib版本和Kafka配置问题。特别是强调了通过正确配置hosts文件和避免使用hostname来解决Kafka地址解析的问题。

摘要由CSDN通过智能技术生成

一、本地运行spark出现的错误

Exception in thread "main" java.lang.VerifyError: 
class com.fasterxml.jackson.module.scala.ser.ScalaIteratorSerializer overrides final method withResolved.
(Lcom/fasterxml/jackson/databind/BeanProperty;Lcom/fasterxml/jackson/databind/jsontype/TypeSerializer;
 Lcom/fasterxml/jackson/databind/JsonSerializer;)
 Lcom/fasterxml/jackson/databind/ser/std/AsArraySerializerBase;
at java.lang.ClassLoader.defineClass1(Native Method)

解决：jar版本冲突！、缺少jar包

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.10</artifactId>
<version>0.10.0.0</version>
<exclusions>
<exclusion>
<artifactId>jmxtools</art

了解本专栏