Spark0.91使用sbt编译Unresolved依赖问题

最新推荐文章于 2023-07-07 11:26:32 发布

OopsOutOfMemory

最新推荐文章于 2023-07-07 11:26:32 发布

阅读量8.9k

点赞数

分类专栏： spark 文章标签： spark jvm scala sbt

本文链接：https://blog.csdn.net/oopsoom/article/details/24248519

版权

在尝试用sbt编译Spark 0.91以适配hadoop0.20.2-cdh3u5时，遇到了Unresolved Dependency错误。这通常由于依赖版本不匹配或未正确配置导致。为了解决这个问题，需要更新Hadoop版本，并确保所有依赖项在sbt构建文件中正确设定。

摘要由CSDN通过智能技术生成

最近测试一下spark0.91编译hadoop0.20.2-cdh3u5.

使用sbt/sbt assembly来编译发布。

修改hadoop的版本号，这样才能和HDFS通讯哈。

object SparkBuild extends Build {
  // Hadoop version to build against. For example, "1.0.4" for Apache releases, or
  // "2.0.0-mr1-cdh4.2.0" for Cloudera Hadoop. Note that these variables can be set
  // through the environment variables SPARK_HADOOP_VERSION and SPARK_YARN.
  val DEFAULT_HADOOP_VERSION = "0.20.2-cdh3u5"

经常会出现Unresolved Dependency问题，类似如下：

[error] (examples/*:update) sbt.ResolveException: unresolved dependency: commons-lang#commons-lang;2.6: configuration not found in commons-lang#commons-lang;2.6: 'compile'. It was required from org.apache.cassandra#cassandra-all;1.2.6 compile

在网上搜了，说的是依赖关系的问题。所以就在$SPARK_HOME/project/SparkBuild.scala