目标:
想要完成使用spark在windows的idea下操作hive(对hive中的表查询等)
最终代码(java):
import org.apache.spark.sql.SparkSession;
import java.io.Serializable;
/**
* Created by Administrator on 2017/4/3.
*/
public class SQLHiveJava {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.master("local[*]")
.config("spark.sql.warehouse.dir","hdfs://mycluster/user/hive/warehouse")
.enableHiveSupport()
.getOrCreate();
spark.sql("show databases").show();
spark.sql("select count(*) from mobike.logs").show();
spark.sql("select * from mobike.logs").show();
}
}
结果展示:
整个过程用了我1天多时间独立研究,出现各种各样的问题,而且网上的贴子找了很多,