Spark 整合hive

    1.hive的类库需要在spark worker节点。
        默认spark中包含了hive类库
    2.复制core-site.xml(hdfs) + hdfs-site.xml(hdfs) + hive-site.xml(hive)三个文件
      到spark/conf下。
        cp /soft/hive/conf/hive-site.xml /soft/spark/conf/

    3.复制mysql驱动程序到/soft/spark/jars下
        cp /soft/hive/lib/mysql-connector-java-5.1.47.jar /soft/spark/jars/
    
    4.启动spark-shell,指定启动模式
        spark-shell --master local[4]
        $scala>
create table tt(id int,name string , age int) row format delimited fields terminated by ','  lines terminated by '\n' stored as textfile ;

        //加载数据到hive表
        $scala>spark.sql("load data local inpath 'file:///home/centos/data.txt' into table mydb.tt");

 

java版的SparkSQL操纵hive表

1.复制配置文件到resources目录下
        core-site.xml
        hdfs-site.xml
        hive-site.xml
    2.pom.xml增加依赖</