本文总结了使用Spark 0.7.2预编译版连接Hadoop 2集群时遇到的问题及解决方法，包括替换hadoop-core.jar、添加hadoop配置文件、处理Unable to load native-hadoop library和Snappy native library not loaded的错误。通过这些步骤，成功实现了从HDFS读取数据。
Spark与Hadoop版本
我使用0.7.2的Spark版本，且是pre-built过的版本，支持的hadoop版本是hadoop1。在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。我在google论坛上发帖说明了这个问题：https://groups.google.com/forum/#!topic/spark-users/Y4iJ1458d18。所以我现在使用预编译了1代hadoop的spark，来连接2代hadoop。按理说在编译spark的时候，通过改动SPARK_HOME/project/SparkBuild.scala，可以指定要支持的hadoop版本：
// Hadoop version to build against. For example, "0.20.2", "0.20.205.0", or
// "1.0.4" for Apache releases, or "0.20.2-cdh3u5" for Cloudera Hadoop.
val HADOOP_VERSION = "1.0.4"
val HADOOP_MAJOR_VERSION = "1"
// For Hadoop 2 versions such as "2.0.0-mr1-cdh4.1.1", set the HADOOP_MAJOR_VERSION to "2"
//val HADOOP_VERSION = "2.0.0-mr1-cdh4.1.1"
//val HADOOP_MAJOR_VERSION = "2"
最低0.47元/天 解锁文章
990
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
