【环境配置】
Hive: 0.13.1
Spark: 1.2.0
Spark和Hive都是伪分布式安装的
网上有一些教程,但或者Spark版本不同,或者不够全面。其实总结起来只有三步,如下:
(1)打开spark-shell
spark-shell
(2)建立HiveContext对象
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
(3)进行Hive操作
hiveContext.sql("show tables").take(10) //取前十个表看看
hiveContext.sql("from ewaplog select key, value").collect().foreach(println)