spark1.6 编译_spark-1.6.1安装编译&&sparksql操作hive

maven：3.3.9

jdk:java version "1.8.0_51"

spark:spark-1.6.1.tgz

scala:2.11.7

如果scala版本是2.11.x，执行如下脚本./dev/change-scala-version.sh 2.11

spark默认情况下用scala的2.10.5编译

编译命令如下：

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-Phive -Phive-thriftserver -Dscala-2.11 -DskipTests clean package

红色部分为spark-sql链接hive的所需要的依赖，以及指定的scala的版本

注意：hive-site.xml文件需要放到$SPARK_HOME/conf目录下，否则找不到表

运用spark-sql访问hivepackage com.infra.codelab.spark.hive

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

object HiveTest {

val conf = new SparkConf()

val sc = new SparkContext(conf)

def main(args: Array[String]): Unit = {

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("SELECT line FROM filecontent ").collect().foreach(println)

}

}

提交任务：spark-submit --class com.infra.codelab.spark.hive.HiveTest  --master spark://localhost:7077 /home/xiaobin/test/spark/wordcount-0.0.1-SNAPSHOT.jar

spark-sql：export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/xiaobin/soft/apache-hive-0.14.0-bin/lib/mysql-connector-java-5.1.35.jarspark-sql --master spark://xiaobin:7077spark-sql> select count(*) from filecontent;

483

Time taken: 3.628 seconds, Fetched 1 row(s)