Spark（四）：Spark整合Hive

首先在Hive中建好表 加载好数据

create table t_user(
id int,
name string,
age int
)
row format delimited 
fields terminated by '\t';

load data local inpath '/opt/user.log' into table t_user;

在命令行访问Hive

Spark 要接管 Hive 需要把 hive-site.xml copy 到spark/conf/目录下

• 把 Mysql 的驱动 copy 到 spark/jars/目录下.

• 如果访问不到hdfs, 则需要把core-site.xml和hdfs-site.xml 拷贝到conf/目录下.

启动 spark-shell

scala> spark.sql("use baizhi")
scala> spark.sql